Il Palazzo dei Priori fa parte, insieme al Palazzo degli Studi e Palazzo Pelagallo, dell'articolato complesso architettonico che chiude il lato nord di Piazza del Popolo a Fermo. L'abitato trova le sue origini nel XIII secolo, quando vi sorgeva un palazzo privato di proprietà di Rinaldo di Giorgio. Sulla stessa area vi sorgeva anche l'antichissima chiesa di San Martino, risalente al 1154, che un tempo dava il nome alla piazza. La prima campagna edificatoria vide, nel 1296, la costruzione del Palazzo dei Capitani del Popolo che in seguito ospiterà anche il collegio dei Priori. La modernizzazione definitiva dell'edificio avverrà tra il 1446 e il 1525, quando il vecchio palazzo governativo e la chiesa di San Martino vennero inglobati in un'unica entità. Infine, l'attuale prospetto del Palazzo dei Priori, rispecchia un progetto della metà del Seicento che ne ha determinato la forma a ventaglio, che si adatta perfettamente al lato della piazza. Nel complesso, comunque, l'architettura del palazzo può considerarsi di stile rinascimentale. Realizzato in mattoni di cotto, l'edificio è scandito da rifiniture in travertino: sia in altezza, dove al primo piano troviamo un fascione marcapiano e al secondo un cornicione fortemente in aggetto sostenuto da mensole, ma anche in larghezza, la ripartizione tra il corpo centrale e due laterali, convergenti verso la piazza, è determinata da fasce di travertino e ci sono bugne dello stesso materiale a chiudere gli spigoli della facciata. Le due ali sono quasi perfettamente simmetriche. Al piano terra vi sono aperture ad arco a tutto sesto, mentre ai piani superiori si trovano finestre architravate. Il corpo centrale, invece si differenzia mostrando finestre ad arco a tutto sesto e soprattutto per la loggia che immette nell'ingresso principale al piano nobile, alla quale si accede tramite un doppio scalone balaustrato. La loggia è sormontata dalla statua del papa Sisto V, realizzata nel 1588 da Accursio Baldi detto il Sansovino, per riconoscenza al pontefice dopo l'elevazione di Fermo a sede arcivescovile e i privilegi concessi all'Università.
Il palazzo oggi è sede del polo museale fermano e ospita il Museo Archeologico e la Pinacoteca Civica. Degna di nota è anche la Sala del Consiglio con gli affreschi di Pio Panfili.