Nel XVI secolo l'imperatore Carlo V (1500-1558) fece costruire su progetto di Camillo Camillani, architetto e scultore fiorentino, una torre dalle dimensioni imponenti.
La costruzione doveva servire per difendere il prezioso caricatore dagli attacchi dei corsari che spesso, con azioni rapide, depredavano le popolazioni dei centri abitati posti sulle coste. L'edificio è caratterizzato da una forma a piramide tronca che termina in alto in un'ampia terrazza utilizzata come punto d'osservazione. L'interno è composto da alcuni ambienti la cui copertura è del tipo volta a botte. Dal 1780 i Borboni fecero della Torre una prigione.
Per molti anni l'edificio è rimasto abbandonato a se stesso, ma attualmente è interessato da lavori di recupero del prospetto esterno finanziati dalla Sovrintendenza ai Beni Culturali. Ultimati questi interventi si provvederà a sistemare nuovi arredi interni nonchè, gli antichi cannoni.
L' antica Torre Carlo V, che svetta nelle vicinanze del porto, diventerà sede di un importante Polo museale.