La población de Peñarroya de Tastavins surgió a raíz del castillo árabe, situado en lo alto de la población en el cerro denominado "La Moleta". El lugar fue reconquistado por Alfinso II, y donado a la Orden de Calatrava en 1170.
Sus restos se asientan sobre la cumbre del cerro de La Moleta, un enclave privilegiado que lo hacía inexpugnable. Era de gran extensión y ocupaba la casi totalidad de la cumbre, conserva una parte del amurallamiento exterior que nace sobre el mismo borde de las peñas, aunque está muy rebajado en altura. Su obra es de mampostería y argamasa y en uno de sus lados menores conserva restos de un torreón que debía estar reforzado con sillar en sus esquinas. En su interior se aprecian los basamentos de otro recinto de planta redondeada junto a un paredón de tapial. Algunos de estos restos podrían datar de la época de las guerras carlistas.
