Esta fortificación de origen musulmán, aguantó los ataques de Sancho Ramírez, quien conquisto Huesca y alrededores con muy poco esfuerzo aprovechando la cruzada predicada por el Papa, de tal manera, que todos los caballeros del rey de Francia vinieron a España a combatir contra los musulmanes.
A partir de la conquista del castillo de Sesa en 1103 por Pedro I, tenemos mucha documentación de Sesa gracias al cartulario del obispo de Huesca. El obispado va a tener mucha consideración con este castillo y le va dar muchas utilidades.
Casi todos los pobladores que venian de Navarra y del sur de Francia a los nuevos territorios que se estaban conquistando se iban a Teruel porque una parte del botín que conquistaban les pertenecía.
El castillo fue restautado por orden de Jaime I ,abandonándose en el siglo XV, deterior.andose hasta la actualidad.
Los vestigios de la fortificación se reducen a basamentos de muros y restos difusos de paredones.
En el antiguo cerro destaca un conjunto iglesi con una mansión fortificada adosada, que era residencia ocasional del los obispos.
