Baeza pasó a poder de los cristianos hacia el primer cuarto del siglo XIII cuando el rey lo dió en señorío al caballero Sancho Sánchez. En 1268 soportó un largo asedio por parte de los nazaríes, situación que se repetería posteriormente en varias ocasiones.
El alcázar fue mandado derribar por los Reyes católicos en 1476, de este modo intentaban frenar las luchas existentes entre las familias de los Carvajales de Úbeda, y los Benavides de Baeza. Con el derribo se pretendía que ninguna de las dos familias aprovecharan la fortificación para emplearla contra el adversario.