Palazzo Giovannozzi presenta una struttura molto complessa, scarsamente unitaria, le cui molte incongruenze derivano dall'accorpamento di diverse cellule abitative medievali, probabilmente risalenti al XI secolo. L'edificio ha forma quadrangolare ma a sud presenta un corpo oblungo più alto e più sporgente rispetto al resto della struttura. La parte principale si risolve in una lunga facciata con un andamento irregolare determinato dalla tortuosità di via Pretoriana e, di conseguenza, dall'adattamento della dimora nobiliare ad un tessuto urbano tipicamente medievale. L'accorpamento delle case medievali deve essere avvenuto già nel XV secolo, ma sono in seguito intervenute diverse fasi di ristrutturazione nei secolo XVI e XVII ad aggiungere i vari elementi decorativi di gusto classicheggiante. Il pian terreno si distingue dal resto del palazzo per i blocchi di travertino levigati e per la presenza del bugnato nello spigolo nord: la mancanza di questi elementi nei piani superiori potrebbe far pensare ad una campagna di ristrutturazione rimasta incompiuta. I due portali con cornice di bugne a dimensioni alterne e voluta in chiave di volta, sono inseriti su porzioni di muro sporgente rispetto al resto del piano. Le finestre sono quadrate con cornice. Ai piani superiori, specie nella parte destra, troviamo alcuni elementi architettonici interessanti. Il piano nobile è scandito da un cornicione marcapiano su cui poggiano finestre con frontone triangolare spezzato. Il frontone poggia su mensole a volute e l'architrave è decorato con fregi scolpiti. Al secondo piano il cornicione marcapiano risulta diviso in varie porzioni (forse si tratta di davanzali di finestre preesistenti) e le finestre presentano un elaborato architrave mistilineo fortemente aggettante. Interessante anche la porzione del corpo oblungo, già precedentemente accennato, che si affaccia in via Pretoriana. Esso presenta, al primo piano ancora le finestre con frontone triangolare spezzato, mentre il secondo piano è percorso da un balcone sostenuto da bei mensoloni scolpiti e con ringhiera in ferro battuto.