El Castillo de San Andrés es el monumento más importante de Carboneras, símbolo de la población.
Se localiza en el casco antiguo, muy cerca del puerto, y es una fortaleza militar.
En su portada, situado sobre su arco de medio punto, destaca el Escudo de los Marqueses del Carpio.


El Castillo fue mandado construir por el Marqués del Carpio en el último tercio del Siglo XVI para defender la costa tras la sublevación morisca. Sus obras definitivas se acometieron en el año 1621.
Más tarde en el siglo XIX pasó a manos de la Casa de Alba.
Es una pequeña edificación de planta cuadrada, con cuatro torres en las esquinas, siendo la más grande y única cuadrada la de la zona sur, las otras son cilíndricas.

Actualmente se encuentra en estado de ruina consolidada. Ha sido parcialmente restaurado (el exterior) y declarado Monumento de Interés Cultural.

Es propiedad del Ayuntamiento de Carboneras, y se utiliza en el desarrollo de actividades culturales.

Es de acceso libre, pero para ver el interior hay que contactar con el Consistorio.

Protección:  Fue declarado Bien de Interés Cultural por la Resolución de 22 de junio de 1993. Bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español. En el año 1993 la Junta de Andalucía otorgó un reconocimiento especial a los castillos de la Comunidad Autónoma de Andalucía.

El Castillo de San Andrés fue construido por el segundo Marqués del Carpio, Luis López de Haro y Sotomayor, para la defensa de sus posesiones en esta zona, frente a las continuas incursiones de los piratas berberiscos. Se cree que su construcción se inició a finales del siglo XVI, estando constatado que en 1593 aún no habían empezado las obras. La construcción se terminó parcialmente en 1602, dejándolo sin concluir. Para animar a la futura guarnición del castillo, a que se asentase en la zona, se proyectó un repartimiento de tierras y la construcción de una almadraba para la captura de atún. Con esfuerzo, se consiguió dotar al castillo de una escasa guarnición y alguna artillería, pero al no estar bien acabado, pronto se resintieron sus muros. Los guardas se resistían a continuar en él, dado el evidente peligro de la zona y la escasa defensa de que disponían. Para más desgracia, la almadraba tampoco había sido terminada.

n un informe de 1621 se constata el mal estado de la construcción y que sólo habitaban el castillo el alcaide y cuatro soldados que venían de Mojacar, de mala gana, relevándose por semanas. Parece ser que tras este informe de Iñigo de Briceño, se retomaron las obras y el castillo se acabó de construir y reparar en los años siguientes. También parece que la almadraba funcionó en la zona de los Cocones durante la segunda mitad del siglo XVII. Durante los primeros años del siglo XVIII, la población empieza a salir de los muros del castillo y va creciendo como pueblo a su alrededor. En 1725, el castillo que pertenecía al Ducado de Alba desde 1688, tenía una dotación de veinticuatro soldados permanentes, un oficial, un sargento, dos cabos, un tambor y un alcaide. En el interior del castillo se encontraba una ermita donde se veneraba a San Andrés. A mediados del siglo XIX, pasó a depender del cuerpo de Carabineros y hacía 1941 se cedería a la Guardia Civil, que se hizo cargo de todos los bienes de dicho cuerpo tras la guerra. En 1949 quedaría protegido por el Estado. En los años sesenta, uno de sus cubos se utilizó como gasolinera, llevada por un particular, abriéndosele una puerta exterior. Sirvió de taller de coches, de cuadra, etc.

Posteriormente restaurado en 1990, por parte de las autoridades autonómicas, queda a falta de uno de sus tres cubos cilíndricos, que estaba hundido por completo, sin que quede claro en que época se derrumbó y el motivo que lo hizo desaparecer; tampoco es fácil entender por qué no se reconstruyó este cubo en la restauración, ya que, aunque estuviese destruido con anterioridad, precisamente en eso consiste la restauración. Actualmente se encuentra en muy buen estado exterior, pero sin restaurar en su interior. Es utilizado por el Ayuntamiento de Carboneras para algunas actividades y cedido en los veranos para proyección de cine a una empresa privada. Es una lástima que no se termine de restaurar interiormente, ya que, aparte de su valor como edificio histórico, sería un magnifico lugar para acoger un museo, salas de exposiciones y otras actividades culturales.