Si trova al centro del paese, stretto lungo il corso principale della splendida Torre di Palme.
Affiancato dalla bella chiesa di Sant'Agostino e chiamato anche Palazzo della Congregazione, qui avevano sede le riunioni dei priori, figure della politica civile medievale, che governavano insieme il municipio ed eleggevano le altre cariche amministrative; come in molti altri luoghi il nome sarà mantenuto fino ai giorni nostri.
Il nucleo originario del palazzo venne eretto intorno al XIV secolo, data la sua importanza è stato nel tempo sottoposto a lavori di restauro ed a vari ampliamenti, nella prima metà del '500 risulta affrescato dal pittore fanese Giuliano Presutti, oggi perduti. Nel XVII secolo secondo gli accordi con il comitato fermano, viene costruito il forno pubblico nel piano seminterrato del palazzo, in seguito distrutto negli anni '50 del novecento.
Probabilmente dopo la fase napoleonica, diventa residenza ufficiale del Comune di Torre di Palma fino al 1877, quando con le riforme territoriali avvenute con l'Unità d'Italia, il municipio viene soppresso e unito alla vicina Fermo. Persa la sua funzione primaria lo stabile viene poi destinato ad uso della popolazione, ospita alcuni ambienti l'ufficio postale fino alla fine del secolo, quando sarà ancora restaurato. Oggi mantiene ancora la sua funzione pubblica, ospitando: mostre ed esposizioni, la "Società Operaia", la sede della contrada che partecipa al Palio dell'Assunta a Fermo.
I secoli hanno modificato l'aspetto della struttura che contiene ancora i resti dell'edificio medievale, si nota subito nella parte bassa della facciata un grande arco con una cornice in cotto ben lavorata, ai tempi faceva da ingresso alla loggia sotto il palazzo, poi tamponata. Viene sostituito da un piccolo portale con semplici ornamenti in cotto, al di sopra vi si trova una grande lapide con le vittime della prima guerra mondiale, affiancata da due finestrelle ovoidali. Ancora in alto a sinistra si trova l'orologio pubblico meccanico, dalla parte opposta quello solare, entrambi col quadrante dipinto, riparate da una sporgente cornice in cotto. Nei pressi delle due semplici finestre, si notano incorporati nelle mura i pochi resti di due ampie bifore con elementi in pietra arenari; a sinistra si eleva il piccolo campanile a vela che si conclude con un timpano triangolare incorniciato. A destra della facciata vi è una piccola ala annessa, accessibile tramite un moderno ingresso inserito in un precedente accesso, caratterizzato da una gradevole arcata rifinita con formelle decorate. All'interno vi è un ambiente voltato dove un tempo vi erano gli uffici delle poste, oggi invece quelli del municipio fermano; la parte alta della struttura mostra una cornice a dente di lupo in prossimità del tetto.