El nombre de Azagra significa en árabe "la roca". Se aprovechó su posición sobre el cerro para vigilar la zona. Tuvo una cueva fortificada que se reparó en 1342. Hay nómina de sus alcaldes desde 1276 a 1428. Fue ocupado por los cristianos en el siglo X. En 1379 fue entregado a Castilla durante diez años como rehen, junto con otros castillos. Los señores de Azagra reconquistaroan Albarracín (Teruel)