Como la Panadería del Rey, se trata de un edificio del siglo XVIII, construido como consecuencia de la reforma operada en la organización del ejército portugués durante el reinado de D. João V.
Levantado en la gola del Baluarte del Príncipe en 1699, el Cuartel de Caballería sería inicialmente sede del Regimento de Cavalaria ligera, pasando en 1742 a serlo del Regimento Dragões de Olivença, llamado desde 1762 Regimento de Cavalaria de Olivença, con 8 compañías de 30 hombres cada una. Llegó a tener 12 escuadrones de 40 caballos cada compañía.
Desde 1892 alojó al Regimiento de Infantería de Castilla, pasando en 1922 para el batallón de caballos sementales del Estado. Desde 1939 a 1964 se establecen en el edificio unas Escuelas graduadas, y por 1954 es entregada la propiedad al Ayuntamiento.
En el año 1981 se reutiliza como el Instituto de Bachillerato “Marcial Gómez Castaño” en la planta alta, y Parque de Bomberos y Consultoriode la Seguridad Social en la baja. En la actualidad, funciona el piso bajo como Centro de Salud y el superior como sede de la Universidad Popular y otras dependencias administrativas oficiales y diversas entidades asociativas.