Los primeros indicios de la existencia de un bastión defensivo en el lugar se remontan al siglo XI, cuado el avance de la Reconquista obliga a los señores de los reinos cristianos a establecer líneas de defensa con fortificaciones comunicadas visualmente. Así nace uno de los castillos roqueros más hermosas de la región culla traza se asienta definitivamente en el siglo XIV tomando características de sólido estilo gótico imperante. El nombre por el que es conocido, cargado de sugerencias, se pierde en explicaciones legendarias que hablan de amores palaciegos y prohibiciones paternas, aunque a ciencia cierta se decsonoce el origen. Fue propiedad del duque de Medinaceli y aún conserva, a su pesar de su desmoronamiento, el imponente aspecto de sus altos muros y gruesos cubos. En el castillo se combina el sillar, el sillarejo y la mampostería, distribuyéndose alternativamente en los dos recintos que conforman la fortaleza.La historia del castillo da lugar a una de las más bellas y conocidas leyendas abulenses. Según la leyenda, el castillo lo mandaría construir don Raimundo, para comunicarse con su amada doña Guiomar, encerrada en el balcón que corona la puerta del Rastro ( en Ávila, acceso por la casa de los Dávila ) , dada la prohibición del padre de ésta de que la pareja continuase con sus amoríos. Ante la acctitud paterna, don Raimundo exclamó: " la veré manqueospese " 0 "la veré aunqueospese", y fue entonces cuando levantó su castillo, desde el que a parecer se comunicaba con su querida Guiomar.
