Este castillo está ubicado entre San Martín y el Puerto Viejo, y según crónicas, en el año 890 se habría construido una torre “sobre el antiquísimo castro de las Eljas”. Debió tratarse de una fortificación pequeña que formaba parte de la cadena de castillos que protegían las rutas hacia Coria, atribuyéndosele un origen islámico.

En el siglo XVII, esta comarca sufrió, de modo severo, las consecuencias de la guerra con Portugal. Probablemente fue en este siglo cuando se añadió a la fortaleza el foso defensivo.

A lo largo de los siglos XIX y XX, el castillo de Eljas fue perdiendo sus funciones militares y residenciales. Actualmente, apenas si se conservan restos visibles de lo que fue esta imponente fortaleza, si bien quedan en pie dos torreones, indicios de muros que arrancan de los mismos y parte del cerramiento del recinto principal que, actualmente, conforman las tapias del cementerio: tres cortinas -de las cuatro que debió poseer- que protegían la desaparecida torre del homenaje.

Del año 1561 se conserva una pormenorizada descripción del castillo, realizada por fray Lorenzo Arias. Al traspasar la puerta, se entraba a un patio enlosado, en el que se situaban las caballerizas. Esta puerta estaba flanqueada por una torre, a modo de garita, y disponía de mazmorra, una cámara con suelo de madera y bóveda de piedra. Dentro del recinto principal existía un patio pequeño con diversas estancias: bodega, caballerizas, el ‘cuarto viejo’ y la torre del homenaje, entre otros.

Prolongaban el recinto principal por el saliente otras fortificaciones, de las que permanecen los dos bastiones esquineros: las torres cilíndrica y prismática. El cuerpo principal del castillo albergaba la torre del homenaje en su centro.

La zona mejor conservada es la del llamado patio nuevo, especialmente las dos torres de las esquinas y los restos del lienzo que unía ambas por el levante.

En el interior del patio hay una vivienda reciente y, especialmente la torre redonda, está camuflada entre el caserío de la manzana. Ambas torres conservan los arranques de las murallas que las unían al resto de la fortaleza, ya desaparecidas.