Si affaccia col suo lungo profilo sul corso di Petritoli, via Tornabuoni.
Addossato all'ex palazzo comunale, si colloca all'altezza della salita verso la parte alta del paese che passando davanti alla chiesa di San Prospero, discende per il quartiere di Borgo Vecchio. Costruito probabilmente nel corso del XVII secolo, riutilizzando parte della primitiva e dismessa cinta muraria, risalente alle prime fasi del castello petritolese, quando questo occupava solo la porzione superiore del colle. Appartenuto alla nobile famiglia fermana dei Paccaroni, tra le più antiche dinastie della città, nell'ottocentesco catasto gregoriano risulta proprietà del prete Carlo Mazzaroni. Purtroppo al momento non si hanno altre notizie su altri proprietari ed in generale sulla storia del palazzo. Oggi il palazzo è stato diviso in diverse proprietà, quindi si nota anche un diverso stato di conservazione delle parti.
Di perimetro irregolare, segue le dimensioni delle strutture più antiche sul quale è stato costruito, utilizzando interamente i mattoni, non mostra perciò una facciata lineare. Si eleva su quattro piani, sfruttando in parte il dislivello tra il castello vecchio posto in alto e l'espansione sottostante più recente. La parte visibile del pianterreno, ben strutturata nella parte destra, va restringendosi in altezza seguendo il profilo della salita a sinistra, trasformandosi in un seminterrato. Si nota anche che la porzione centrale è più raffinata rispetto alle due ali laterali, con ulteriori decorazioni alle finestre. I livelli dei piani sono segnalati all'esterno con fasce ornamentali in cotto, che corrono sotto le finestre all'altezza dei davanzali. Piuttosto modificato durante gli anni è il pianterreno, dove agli antichi accessi si intervallano quelli moderni, questi assumono una varietà di stili e materiali ripercorrendo la storia del palazzo. Sul lato destro, dirimpetto alla chiesa di Santa Maria di Piazza, si rintracciano i resti di un grande portale, forse di gusto barocco, sostituito oggi da uno più modesto. Il primo piano si distingue per le semplici finestre contornate in mattoni di una gradazione differente di colore, da notare al di sotto della fascia marcapiano i numerosi cerchi in ferro murati, utilizzati per inserire vasi di fiori. Il raffinato secondo piano era occupato dai proprietari, qui le finestre sono più elaborate, sormontate anche da una vistosa cornice ad arco. Comprese nella decorazione ma solo nella porzione centrale dello stabile, si aggiungono anche delle elaborate conchiglie in stucco a dar maggior risalto all'opera. Inoltre l'ampiezza di queste aperture fa si che ci sia una ringhiera a protezione di chi vi si affaccia. L'ultimo piano è il più semplice, al centro però le finestre si fregiano di alcuni elementi architettonici stuccati, sempre con la presenza alterna di una conchiglia. Poco sopra ad accompagnare l'inizio del tetto, corre un vistoso e sporgente cornicione. Non si conosce l'allestimento degli interni.