Posteriormente, después de sucesivas guerras fronterizas entre los reinos de Castilla y Portugal, el Rey Dionis IV de Portugal conquista San Felices de Los Gallegos en el siglo XIII, levantando la fortaleza. Durante los siglos XIV y XV la villa tuvo cambios de posesión, debidos a herencias, permutas, o reclamaciones, hasta que en 1479, los Reyes Católicos se la entregan a D. García Álvarez de Toledo, primer Duque de Alba, que entre los años 1476 y 1479, ordenó desmochar y posteriormente construir la actual “Torre del Homenaje” a Juan Carrera, constructor también del Castillo de Coria.

Entre finales del siglo XV y principios del XVI, y gracias a la tranquilidad lograda al pertenecer definitivamente al Ducado de Alba y dentro de éste a la Corona de Castilla, San Felices de Los Gallegos fue realmente próspera, fundándose los Conventos de San Juan de Letrán de los Dominicos y de la Pasión de las Agustinas. A su vez, la población fue aumentando hasta llegar a los 1.200 habitantes, lo que llevó también al incremento de la actividad artística, construyéndose nuevas ermitas y casas particulares, e incluso reconstruyéndose su antigua iglesia. Ya durante el reinado de Felipe II, y debido a que los habitantes tenían que pagar al Ducado de Alba el impuesto del “Noveno” (novena parte de lo que producían), los vecinos compran al Rey las tierras realengas de su término y comienzan los litigios para que les suprima este impuesto, no siendo hasta el año 1852 que éstos obtienen la sentencia favorable. La fiesta que se instituyó para celebrar este triunfo, se continúa celebrando en nuestros días el segundo domingo de mayo, siendo la más importante y representativa de la villa.

San Felices tuvo nuevamente un papel protagonista durante la guerra de la Independencia y tras numerosos enfrentamientos, el 15 de marzo de 1809 fue tomada la villa por el ejército francés, permaneciendo ocupada durante casi tres años. La guerra dejó como resultados la destrucción del Convento de San Juan de Letrán y la ruina parcial de varias iglesias, pero añadió una importante obra arquitectónica, el Puente de Los Franceses, en el río Águeda. Ya a finales de siglo, un incendio en la Iglesia Parroquial, destruyó el archivo municipal y su retablo mayor, con pinturas de Luis De Morales y artesonado mudéjar. Este desastre artístico se unió al derribo de varios arcos de la muralla para permitir una mejor circulación. Pero, a pesar de estos últimos avatares, el Conjunto Histórico y Artístico que ha llegado hasta nuestros días, convierten a San Felices de Los Gallegos en visita obligada dentro de los grandes tesoros Españoles.