Imponente costruzione che ingloba due edifici medioevali (il Palazzo dell'Arengo Maggiore risalente al XII secolo, e il Palazzo Minore di poco successivo) che sono stati uniti da un unico fronte nel secolo XVII e finiti di completare nel XVIII. Alla fine del 1400 questi due edifici divennero anche sede della Camera Apostolica dove venivano ospitati, fino al 1564, i governatori pontifici. Nei primi decenni del 1600 l'architetto G.B.Cavagna (celebre costruttore e responsabile della Santa Casa di Loreto) ebbe l' incarico di elaborare un progetto per restaurare il palazzo, ma per mancanza di fondi i lavori vennero ritardati fino al 1679 quando subentrò Giuseppe Giosafatti che iniziò il progetto sul lato ovest e si adoperò nel modificare il prospetto della piazza. La grande costruzione fu terminata nel 1745 dai figli di Giosafatti (Lazzaro, Pietro e Lorenzo). La facciata è composta da blocchi di travertino e presenta nella parte centrale un portico a cinque arcate divise da lesene sovrapposte a file sfalsate. Sopra la fascia si aprono la finestre del piano nobile con timpano e formose cariatidi con il volto pensoso, mentre le finestre che sono al secondo piano hanno erculee sculture dai volti barbuti. Al centro, sotto l'alto porticato, si apre il grande portale con lavorazione bugnata, che fu realizzato nel 1658 da Silvio Giosafatti, su disegno del Cavagna. L'accesso immette sull'ampio androne ottenuto da una delle campate di un salone risalente al XIII secolo. Passato l'atrio si accede al cortile interno dove sono collocati i busti di uomini illustri della città, mentre tra le aiuole e sui muri perimetrali sono posti dei sarcofagi, delle lapidi decorate a bassorilievo e dei frammenti architettonici romani e medioevali. Sono presenti anche degli stemmi comunali e gentilizi dei secoli XII e XIII. Il Palazzo attualmente è sede del Comune e della Pinacoteca Civica (considerata una delle più importanti delle Marche). Al pian terreno, sulla sinistra del portico, è presente anche la sede dell' Ente Quintana che espone nei suoi spazi i costumi usati nella manifestazione. Sulla sinistra dell'androne, nella Sala cosiddetta dei Mercatori, sono state ricostruite due tombe provenienti dalla necropoli Longobarda di Castel Trosino. Il secondo piano ospita gli uffici del Comune e del sindaco, mentre al piano nobile è alloggiata la Pinacoteca Civica.