Durante los siglos XVI y XVII Altea, al igual que la gran mayoría de los pueblos y ciudades de Levante peninsular, sufrió los ataques e incursiones de piratas berberiscos, quiénes en éstos momentos navegaban a sus anchas por el Mediterráneo asolando a las poblaciones que se asentaban por toda su costa, puesto que en éstos momentos los turcos ejercían una gran presión al Viejo Continente tanto por mar como por tierra.
Durante el reinado de Carlos I se puso de manifiesto el malestar que los ataques e incursiones piratas causaban en tierras valencianas y prácticamente en todo el levante mediterráneo, y no sería hasta finales de su reinado cuando se trazaría un plan de fortificación de la costa de mano del duque de Maqueda. El proyecto terminaría aplicándose, de forma tardía, ya en tiempos de don Felipe II, pero no conseguiría terminar con el malestar de los levantinos, llegando el problema a prolongarse hasta el reinado de Felipe III.
La historiografía ha permitido que hoy conozcamos evidencias de algunos de estos ataques que tuvieron lugar en las costas de la bahía de Altea como por ejemplo los que tuvieron lugar en 1526, en el que Altea y Callosa d’Ensarrià son saqueadas; o el del 13 de octubre de 1529, en el que Altea se convertiría en objetivo de desembarco del mismísimo Cachidiablo. El desembarco tendría lugar en la Olla (de Altea), con dieciséis embarcaciones y unos 600 turco-argelinos. Desde aquí entraron al interior, hicieron cautivos y embarcaron con ellos a algunos moriscos de la zona; o el que tuvo lugar en 1546 en Cap Negret. En esta ocasión fueron descubiertas en el río de Altea seis galeotas que seguramente estarían haciendo aguada.