Fin dall'inizio della sua storia il castello di Porto San Giorgio ha sfruttato le alture sopra la foce del fosso di Santa Petronilla per difendesi. Dapprima possesso dei canonici della Cattedrale di Fermo, nel 1260 passa di fatto nelle mani della città. Nel XIII secolo grazie agli scambi commerciali del Porto si consolida una duratura amicizia con la Serenissima Repubblica di Venezia e nel 1276 viene eletto Lorenzo Tiepolo come podestà della città che succede ad un altro veneto, Ranieri Zeno, i quali vennero rispettivamente designati Dogi della Repubblica veneta ed il Tiepolo sarà prelevato direttamente da Porto San Giorgio dove, nell'anno del suo insediamento, aveva dato il via alla costruzione della possente rocca. Il mandato del Tiepolo terminerà nel 1275 lasciando quest'opera strategica per Fermo a testimonianza del suo operato, nonché una serie di proficui accordi commerciali. Il completamento della rocca seguirà la storia del capoluogo che ne terrà il dominio nominando puntualmente un castellano, spesso scelto tra le famiglie nobili della città. Tra queste, che legheranno il loro nome al fortilizio, ricordiamo gli Azzolino, i Raccamadoro e i Brancadoro. Altre dinastie ne avranno il possesso quando istituiranno le loro signorie nel capoluogo fermano, quelle trecentesche inizieranno con Mercenario da Monteverde nel 1331, seguito da Gentile da Mogliano nel 1345 fino alla sua cacciata all'arrivo del cardinale Albornoz nel 1356, Giovanni Visconti d'Oleggio nel 1360 e Rinaldo da Monteverde nel 1371 e alla fine del secolo la signoria di Antonio Aceti. Il quattocento inizia con la signoria di Ludovico Migliorati e nel 1434 si ricorda la terribile dominazione di Francesco Sforza, nel corso del secolo si inasprisce l'attrito tra i sangiorgesi ed i fermani che culmina nel 1490 con l'assalto dei secondi al palazzo del Vicario nella rocca allo scopo di danneggiarne gli archivi. Nel 1502 troviamo le signorie brevi di Oliverotto Euffreducci seguito nel 1514 dal nipote Ludovico. Tornando alla rocca dai registri fermani sappiamo che sul finire del XV secolo, per la difesa della stessa e del porto, erano stanziati duecento uomini, qualche tempo dopo, nel 1519, in previsione di eventuali sbarchi dell'esercito turco, vengono ristrutturate e rafforzate le difese. Nello stesso anno viene accolto come ospite il duca Andrea Matteo III Acquaviva da Gerolamo Brancadoro, nel 1525 invece troviamo il passaggio degli eserciti spagnoli di passaggio per partecipare alle Guerre di Successione del neo imperatore Carlo V, nel frattempo si riparano le mura. Col 1537 si insedia al potere Pier Luigi Farnese che per dieci anni sposterà la sede del governo a Montottone, nel 1543 vengono ricevuti il cardinale Giovanni Vincenzo Acquaviva d'Aragona ed il Duca Giannantonio Donato Acquaviva. La rocca viene nuovamente restaurata nel 1607 e partecipa ai moti antifermani nel 1620 da baluardo del potere cittadino su Porto San Giorgio, che già nel XVII secolo inizia a scemare, sebbene anche dopo la rivolta del 1711 ed i vari riassestamenti dell'epoca napoleonica, il porto riuscirà ad ottenere l'indipendenza definitiva solo dopo l'Unità d'Italia. Rimane comunque nella memoria delle popolazioni che se ne prenderanno una certa cura. Nel 1925 si assiste ad un nuovo restauro ed altri successivi ne preserveranno le strutture.
Collocata in posizione dominante sulla cittadina, oggi è accessibile salendo fino al piazzale antistante, e percorrendo l'ultimo ripido e breve dislivello che porta al cospetto della porta fortificata; è presente un altro ingresso che si apre sull'angolo meridionale che rendeva possibile raggiungerla direttamente dalla piazza principale.
Il perimetro della rocca ha una forma che ricorda quella di un pentagono ed è contornata da una rete di torrette, cinque per l'esattezza, che ne assicurano le difese soprattutto nella parte esterna alla cinta muraria. Alcune torri sono aperte verso l'interno e nel tratto a Nord Ovest dove sono più alte e robuste, come massiccio è anche il torrione angolare, si possono notare ancora i resti dei beccatelli dove venivano alzati i parapetti merlati. Il complesso era stato aggiornato tra il XV ed il XVI secolo all'utilizzo delle armi da fuoco, testimoniato dalle feritoie da moschetto che si aprono lungo le mura. Il torrione principale svetta appena oltrepassato l'ingresso, posizionato come un cuneo che fendeva le orde degli eventuali assalitori, facilitandone così la difesa, vi si accedeva dalla parte opposta attraverso la porticina al secondo piano, raggiungibile attraverso una scala mobile che veniva ritirata in caso di assedio. La torre è probabilmente stata ribassata rispetto alla sua altezza originale e quindi è impossibile ricostruirne il coronamento, oggi si conclude con dei pilastri che sorreggevano una copertura oggi scomparsa. Sulla facciata della porta si trovano murate alcune piccole mensole in pietra dove secondo le ricostruzioni storiche si agganciavano le strutture lignee di una passerella che ne circondava il perimetro, allo scopo di salvaguardare la base delle mura da eventuali assalti. La porta più in alto permetteva di accedere al ballatoio esterno mentre quella poco più in basso dall'altro lato era l'ingresso dall'esterno, mentre successivamente è stata aperta una terza porta per accedere comodamente al pianterreno, sormontata dall'iscrizione in latino che ricorda la costruzione della rocca.
L'interno della struttura è piuttosto interessante poiché privo delle tipiche disposizioni delle torri dell'epoca, la cosa è stata spiegata in quanto essa non era intesa come torre principale ma era annessa ad un complesso residenziale fortificato che rappresentava l'ultima difesa castellana.
Oggi l'interno della rocca è piuttosto spoglio ma qui un tempo si trovavano il palazzo del potere fermano e la residenza del suo rappresentante al porto.