Los historiadores consideran que una primitiva torre fue levantada en 1706 por mandato del Capitán General Agustín de Robles quien ordenó al ingeniero Miguel Tiburcio Rossel, el estudio y contrucción de la misma.Se ignora su fisonomía,encontrándose ya arruinada antes de 1740 por una de las impetuosas avenidas de los barrandacos próximos.Fue reconstruida,para volver a ser destruida nuevamente por las aguas del barranco hacia 1769.Fue entonces cuando el ingeniero Alfonso Ochando la reconstruye con la forma de torre circular que posee actualmente,tal como puede leerse aún en una placa sobre la arruinada puerta de entrada a la torre.
Lo más importante que se consiguió con la contrucción de Castillo de San Andrés fue que se eliminó el calificativo de "puerto de piratas" que tenía el Valle de Salazar.

"/>