La fortaleza, con su imponente Torre del Homenaje, es el monumento más conocido de toda la villa. La primitiva torre fue derruida y sobre ella se edificó la actual a mediados del siglo XIV, al convertirse el castillo en residencia palaciega. La torre rodeada por otra muralla con almenas como segunda defensa, levantada en su robusta configuración actual del siglo XV, repartía su altura en tres pisos o suelos con fuerte envigado, más otro inferior que estaba sobre la bóveda poco más elevado que el nivel de la plaza. Bajo esta bóveda estaba el compartimento que servía como almacén de pólvora, y debajo de este almacén se repartió el cóncavo de la torre en dos separaciones, una para un calabozo subterráneo y otra para cisterna o aljibe, donde se almacenaban las aguas de la plaza y murallas, que se vertían a través de canalones de piedra empotrados para tal fin. La torre disponía también de salidas subterráneas ocultas. Las garitas volandas en sus frentes, desde la que se puede contemplar una extensa panorámica y la serie de ventanas, algunas de ellas de una elegancia indiscutible, convierten la torre en uno de los mejores ejemplares de los castillos mitad palacio-mitad fortaleza. Las Murallas del castillo fueron en su origen una primitiva cerca, o Cerca Vieja durante el siglo X, siendo reforzada tras su conquista a finales del siglo XIII por el rey Don Dionis, bordeándose posteriormente su perfil exterior hasta conformar cinco recintos amurallados. No fue hasta el siglo XVII que se construyeron los actuales baluartes. Este recinto, abaluartado o bastionado, es de transición sobre el de las murallas, no abundando casos semejantes, lo que hace a todo este conjunto, si cabe todavía más especial. Hoy día aún pueden verse algunos lienzos puertas y torres, como el Arco del Puerto y la Torre de Las Campanas. Destacamos esta Torre de Las Campanas, ya que es uno de los principales y singulares edificios de la villa. Es de planta cuadrada, se levanta a base de sólidos sillares de granito y está coronada por un campanario cubierto con estructura de madera y teja. A través de sus arcos apuntados de transición al gótico se accedía al recinto exterior de la fortaleza. Su construcción data del siglo XIII y se cree que fue la espadaña exenta de la antigua iglesia románica, hoy Nuestra Señora entre Dos Álamos.

El Aula Histórica de San Felices está instalada en el interior de la recientemente restaurada Torre del Homenaje del Castillo. Permite conocer de manera gráfica y amena la evolución histórica del monumento, narrando los principales acontecimientos que vivieron el castillo y la localidad de San Felices, en relación con sus luchas fronterizas. Se ofrece un recorrido señalizado por los elementos más interesantes de los recintos fortificados del pueblo. Los medios utilizados son carteles ilustrativos (construcción, características, cronología...), maquetas, paneles, dibujos, elementos interactivos, reproducciones de armamento de la época... Pudiendo ser utilizados por los visitantes los objetos de la exposición. El aula se distribuye en tres plantas que ocupan el interior de la torre, a las que se accede siguiendo la peculiar escalera de piedra, original del castillo; la vista desde la terraza del castillo de los recintos fortificados; y el sótano, donde pueden reconocerse el antiguo aljibe, almacén y calabozo de la torre. Los pisos superiores se dedican a la evolución de la arquitectura militar y de la historia de la propia fortificación, desde el origen hasta la Edad Media, las luchas entre los reinos de León y los territorios islámicos, hasta las luchas de frontera con Portugal en la Edad Moderna y el abandono de las funciones defensivas. En la planta baja el visitante dispone de información sobre la villa, el lugar que ocupó en la historia de la frontera, su patrimonio monumental, sus fiestas... y un pequeño punto de venta de objetos relacionados con la Ruta de las Fortificaciones de Frontera.