Los marqueses de Valderas construyeron estos castillos en una finca de su propiedad entre 1915 y 1917. En 1920 se alojó el rey Alfonso XIII y en 1927 se celebró la boda de su segunda hija con el marqués de Sieteiglesias. Durante la Guerra Civil fue primero Cuartel General de primera línea de las fuerzas franquistas y luego sede de la emisora Radio A.Z. En los años 60 fue escuela e iglesia de la recién creada ciudad satélite de San José de Valderas. Después quedaron abandonados hasta que en 1988 el VI marqués de Valderas los donó al Ayuntamiento, que en 1991 comenzó su restauración. En el Castillo Grande se instaló el Museo Municipal de Arte en Vidrio (MAVA) y el oratorio se destinó a fines culturales, alojando la Universidad Popular. Este se encuentra cerrado actualmente.