La testimonianza più antica in cui si fa riferimento al Castello di Carassai risale al XI secolo e riguarda la delimitazione dei confini con Ripatransone: si trattava in ogni caso del Castello Vecchio. Nel 1294 una nuova costruzione avrebbe ingrandito il suddetto Castello. Il Nuovo Castello comprendeva al suo interno anche una parte del Vecchio e poggiava su due piani inclinati con un avvallamento al centro. Era cinto da mura munite di merli ghibellini alte circa 8,9 metri. Le mura erano rafforzate da otto torri una delle quali ipotizza la forma di baluardo-pentagono, e potrebbe risalire al XV secolo. All' interno vi erano tre vie parallele ed una piazza, e tra le case e le mura vi erano le "vie di ronda", una al pianterreno che restava coperta (Camminamenti Militari), mentre l'altra a livello dei merli rimaneva scoperta. In ciascuna torre vi erano due rampe di scale, una serviva per scendere e una per salire sulla strada di ronda. Di fronte a queste scale sotto le case della via centrale si aprivano dei passaggi detti "ponti" che servivano per agevolare l'accorrere da una parte all'altra delle mura. Vi erano ben tre Porte munite di piombato (buche a forma di feritoie per difendersi dagli attacchi esterni): la Porta di Camporo, o di Montagna, la Porta Mercato, e la piccola Porta dello Sportello. Intorno alla metà del XIX sec., la Porta Marina e quella di Montagna furono cambiate di posizione, mentre l' altra fu chiusa. Il Torrione presenta grosse cannoniere rotonde. Di qui il Camminamento si snoda lungo la cortina fino alle Torri Rompitratta. L'ultima torre che si incontra rappresenta un'aggiunta successiva della fortificazione per rispondere alle esigenze belliche; essa lascia pensare alle battaglie della campagna militare degli Sforza che erano asserragliati a Fermo nel XV secolo.