Fu innalzato su edifici precedenti a partire dal 1576 quando Camilla, sorella dell'allora cardinale Felice Peretti, decise di acquistare diverse case presso la chiesa di San Pietro per costruire una residenza adeguata al potente fratello che diverrà papa. Rimase prorietà della famiglia Peretti fino alla morte del pontefice, nel 1590, quando passerà alla famiglia dei Morelli che poco più tardi, nel 1614, venderà ai Silvestri. Nel 1790 verrà acquistata da Francesco Saverio Massi che assunse il cognome di Massi-Mauri quando Giambattista Mauri lo designa come suo erede: da allora rimane proprietà stabile della famiglia.
L'edificio è strutturato su quattro piani compresi i sotteranei. Distinto da due facciate, quella posteriore fu edificata a ridosso della cinta muraria e si apre sul giardino verso settentrione dove una rampa raggiunge la strada sottostante, ed è costituita da un muro dove sono ricavate finte finestre ed una nicchia dove è posto un busto bronzeo del Cardinal Peretti.
La grande facciata principale si innalza, invece, sul limitare di una piccola piazzetta interna all'incasato, ed è ben visibile a chi entra da Porta Marina. Il severo bel portale in travertino scolpito a bugnato è accompagnato da grandi finestre rettangolari impreziosite da mensole e cornici scolpite e protette da massicce inferriate. Un altro portale in bugnato, ma in cotto, si apre al secondo piano raccordandosi con la strada che ripidamente sale fino alla piazza del comune. Una sobria cornice marcapiano si raccorda alla base delle finestre modanate dei piani superiori, mente il tetto poggia su un'elegante cornice.
Un gradevole loggiato si apre al pianterreno, introducendo il cortile interno, dove si ricollegano i due ingressi del palazzo. Chiuso a nord da un muraglione dove si trova il pozzo collegato alla cisterna domestica, da qui sono raggiungibili le stalle ed il pistrino istallato dalla famiglia dei Massi-Mauri nel 1867.
Le stanze del piano nobile hanno i soffitti decorati; notevole è il soffitto a cassettoni della sala dove sono intagliati gli stemmi dei Peretti e dei Morelli. Decorata è anche la piccola cappellina interna.
Il secondo piano è stato in uso fino al 1960 come caserma dei carabinieri, ed ora giace inutilizzato.