Nella Prima metà del XVI secolo Pietro di Toledo, viceré del Regno delle due Sicilie, aveva fatto erigere a difesa del territorio ben 350 torri lungo il litorale del regno per avvistamento e difesa dalle incursioni delle navi corsare. Queste fortificazioni avevano lasciato scoperta una parte di quello che oggi è considerato il quartiere chiaia e che all’epoca era costituito da una spiaggia, ubicata al di fuori dalle mure cittadine.
La notte del 25 Maggio del 1563 i turchi sbarcarono sulla spiaggia di chiaia ed entrarono furtivamente in Palazzo d’Avalos.L’intento dei corsari era di sequestrare la Principessa d’Avalos che per sua fortuna non era presente a palazzo;per ritorsione,gli invasori fecero una ventina di prigionieri tra la servitù del palazzo. Dopo questo episodio, poiché molte famiglie nobili avevano incominciato a erigere in quella zona la loro residenza estiva, si decise di costruire una torretta di avvistamento che mettesse in allarme i residenti in caso d’invasioni esterne.
La torretta di avvistamento attribuì il nome all’attuale Largo Torretta. La costruzione durò a lungo e divenne prima un luogo per l’esercizio della prostituzione e infine negli anni venti del 900 i resti furono incorporati nella costruzione del Circolo rionale fascista.