Aunque lo llamamos castillo, se rata más de un palacio en el sentido de residencia señoríal, que de un castillo propiamente dicho en el sentido militar de la palabra, ya que nunca intervino en hechos de armas reales.
El castillo sería abandonado por los prelados en 1656. Entre los hechos importantes que sucedieron en el castillo, destacamos la convocatoria de las Cortes de Aragón por parte del rey de Aragón, Alfonso V el Magnánimo. También estuvo preso Ximeno Capdete prior de la Sede de Zaragoza, quien logró escapar sobornando a los carceleros a través de un pasadizo o túnel que llevaba hasta el río.
De planta poligonal irregular, con fachadas rectas pero de desigual tamaño, la principal a poniente y la más corta al sur. Construido con piedra sillar bastante bien trabajada. Su disposición es la habitual, alrededor de un patio interior elevado se distribuyen las diferentes estancias, en varios pisos. Su origen podría estar en una simple torre defensiva encargada de la vigilancia de la zona en tiempos de los musulmanes. Sin embargo el castillo nació a la luz a finales del siglo XIV, cuando el Obispo de Zaragoza decide construir un castillo-palacio residencia.
