Posto nella porzione di terreno a cuneo determinata dall'incrocio tra via Lattanzio Firmano e via Bianca Visconti nel centro storico di Fermo, Palazzo Sempronio costituisce un ottimo esempio di come spesso un edificio di concezione rinascimentale o, quantomeno, classicheggiante, si sia dovuto adattare ad un irregolare impianto urbano medievale ed alla conformità del territorio. A questo scopo la costruzione, in mattoni di cotto, sviluppa una forma triangolare con una elegante sezione curva a regolarizzare lo spigolo tra le due strade e mostra una struttura digradante a supportare la pendenza del terreno.
A livello architettonico Palazzo Sempronio, realizzato tra XVI e XVII secolo, mostra delle sobrie e ordinate proporzioni classiche con qualche innesto barocco nelle decorazioni dei vani. L'edificio si sviluppa su quattro piani dei quali l'interrato è visibile solo nella prima parte a causa del già citato dislivello della sede stradale. Gli altri tre livelli sono scanditi da altrettante fasce marcapiano.
Al primo piano troviamo dei finestroni con timpano curvilineo. Su via Lattanzio Firmani si affaccia l'elegante portale principale in cui risulta evidente il carattere barocco delle decorazioni. Esso è costituito da un ingresso con arco a tutto sesto sormontato da una complessa decorazione mistilinea scandita da vistose volute.
Anche al primo piano le finestre, quadrate, presentano un timpano mistilineo che si richiama alle forme del portale. Al secondo piano, infine, le piccole finestre sono sormontate da una semplice mensola.