Si innalza solitaria al centro di Piazza Sacconi, fronteggiando il mare con la sua severa mole. Insieme ai resti murari alla base della piazza è l'ultima traccia della rocca di San Benedetto, fulcro delle difese cittadine, della quale costituiva la torre più importante e l'ultima difesa. Nel 1145 il Vescovo Liberto di Fermo autorizzò i nobili Azzo e Berardo di Gualtiero a realizzare un castrum nei pressi della pieve di San Benedetto in Albula, dove si veneravano le spoglie del Martire che darà nome al castello. Su queste fortificazioni costruirono, nel XIV secolo, probabilmente i discendenti dei Gualtieri, il possente torrione che possiamo oggi ammirare. Verso la fine del XVIII secolo venne installato l'orologio pubblico che ancora oggi scandisce le ore della città insieme a due campane, montate su una struttura in ferro, che cadenzavano le ore ed i quarti; sempre in quel periodo sarebbe stata aperta la porta a livello della piazza a sostituzione di quella antica a dislivello. All'inizio XX secolo, anche grazie all'eredità di Serafino Voltattorni, verrà restaurata dal celebre architetto Giuseppe Sacconi, che ne ristrutturerà il coronamento merlato.
La torre costruita in mattoni ha forma esagonale, detta a "doppio puntone", che oltre a permettere una maggiore robustezza dell'edificio, eliminava anche diversi angoli ciechi al tiro dei difensori. Quando ancora si usava come difesa, vi si accedeva dalla porticella posta al secondo piano della torre, a sei metri d'altezza, raggiungibile con una scala provvisoria che si agganciava al piccolo ballatoio in legno che veniva montato davanti alla porta. L'interno è composto da tre piani coperti da volte; oggi si accede dal piano terra tramite la porta a livello con la piazza, sul pavimento si apre l'ambiente interrato della torre. Un tempo da qui era possibile ricollegarsi ai vari cunicoli che serpeggiavano sotto il borgo, e verosimilmente vi era anche una cisterna per l'approvvigionamento idrico degli assediati. Utili soprattutto in caso di fuga, queste vie sono state mano a mano dimenticate e sepolte; in seguito in questo spazio sotterraneo hanno trovato sede i contrappesi che davano la carica all'orologio. Salendo al secondo piano si può osservare la piccola porta originale, mentre al terzo sono alloggiati i meccanismi dell'orologio. L'ultimo piano è coronato dalla piattaforma merlata dove le guardie in tempo di pace si prodigavano all'avvistamento dei nemici, mentre in tempo di guerra potevano contrastare gli assalti degli assedianti utilizzando le caditoie, mentre il castellano poteva coordinare le varie difese.
Restaurato nuovamente nel 2001 è oggi dotato di una scenografica illuminazione notturna che rende riconoscibile anche dal mare uno dei simboli più amati della cittadina rivierasca.