Sebbene mancante della parte superiore, è una delle poche torri di Ascoli sopravvissute fino ad oggi, tra le numerose che affollavano la città nel medioevo.
Si alza nel quartiere di Sant'Emidio, tra il cinquecentesco Palazzo Imbriani e la facciata di Palazzo Cataldi, costruita in stile barocco nel XVII secolo. Si trova nella zona centrale della città, a poca distanza da Piazza del Popolo, affacciata su Corso Mazzini e Piazza Crivelli, dove domina il grande palazzo della Cassa di Risparmio. Databile all'incirca tra la fine del XIII secolo e l'inizio di quello successivo, come per le altre torri non è certa la committenza. Viene innalzata insieme all'abitazione dove risiedevano normalmente i proprietari, che si ritiravano nel fortilizio solo in caso di pericolo, attraverso una stretta porta raggiungibile spesso con passerelle o scale rimovibili. La parte sommitale viene demolita presumibilmente tra il XV e XVI secolo, i materiali ricavati saranno riutilizzati per l'ampliamento dell'adiacente casa. Qui sono tuttora individuabili delle pietre scolpite raffiguranti animali, simili a quelle che fanno da cornice ad una finestra, posta nella facciata posteriore della torre. Questa nella prima parte del XVI secolo, insieme agli altri edifici medievali, viene inglobata nella nascente struttura di Palazzo Imbriani, dal quale prenderà infine il nome. Durante i lavori viene composta la nuova facciata, aprendo finestre più ampie e nello stile dell'epoca; stessa sorte tocca alla torre, che mantiene però il suo portale al pianterreno. Nel XX secolo viene acquistata dalla Banca d'Italia, con sede nell'adiacente Palazzo Cataldi, alcuni lavori interni saranno eseguiti per collegare le due proprietà; nel 2018 con la cessazione delle attività bancarie, il palazzo con la torre vengono messi in vendita.
I vari rimaneggiamenti e la cimatura ne hanno smantellato gran parte degli apparati militari, la torre ha un perimetro leggermente rettangolare, il lato lungo misura 6,60 metri mentre quello corto poco più di sei, le mura hanno uno spessore alla base di 1,25 metri. Al pianterreno è si apre il bel portale con l'architrave, sormontato da un lunotto ad arco in pietra, con una cornice sul lato superiore. Sulla chiave dell'arcata è scolpito uno stemma nobiliare, del quale si ignora quale famiglia rappresentasse, vi è raffigurato un predatore rampante, forse un leone. Da qui si accede ad una stanza con copertura a volta, scollegata dal resto della torre; vi si accedeva infatti dal lato orientale del secondo piano. Qui ed al terzo si aprono due finestre in linea con lo stile della facciata, più lavorata è quella in basso, con una cornice sopra l'architrave, più semplice è invece quella del piano superiore. Ancora sopra, si notano i restanti due piani con le stesse ampie finestre, senza alcuna decorazione, mentre sotto lo spiovente del tetto, si nota a fatica lungo la facciata, una fascia scolpita e rappresentante una treccia.