Edificata molto probabilmente sul finire del XII secolo, quando il Conte Alberto dei signori di Smerillo e Monte Passillo, prese in gestione una grossa parte della corte di Montefalcone dai monaci farfensi. I nobili della corte avevano costruito il loro castello feudale che comprendeva oltre ad una struttura fortificata adibita a rocca, un palazzo e le dimore dei vari rami della dinastia che vivevano tra le sue mura. I discendenti del conte Alberto decisero di vendere nel corso degli anni le quote del feudo al comitato fermano che, entrato in possesso del castello nel 1298, ne sfratta gli inquilini nel sottostante borgo e lo trasforma in una struttura prettamente ad uso militare.
Attraverso i documenti del passaggio di proprietà si ha una ricostruzione di come era suddiviso all'interno il centro fortificato, dove si trovavano le abitazioni dei nobili e le torri angolari, presenti nelle mura, oggi scomparse. Sappiamo anche che alcune case erano separate dalle altre da piccole vie, che esisteva una piazzetta castellana e altri spazi aperti utilizzati per gli orti.
Intanto con l'arrivo dei fermani viene eretta la cinta muraria a difesa del borgo che cingerà anche le strutture della rocca, fortificandola ulteriormente e rendendola un poderoso caposaldo.
Nel 1396 Gentile da Varano ed il figlio Rodolfo occupano il paese e ne assediano la rocca che secondo la tradizione viene espugnata grazie al tradimento dei castellani Luzio e Antonio che lasciano entrare gli assedianti dietro compenso; tornerà presto in mano fermana e sarà affidata nel 1404 a Pietro Azzolino, discendente di una nobile famiglia fermana. Fu assediata e presa nuovamente nel 1409 da parte delle truppe napoletane al soldo di Conte da Carrara che cederà molto presto la sua conquista ai da Varano che ne avranno possesso per sette anni, fino al ritorno sotto Fermo durante la signoria del Migliorati.
Probabilmente fu risistemata durante le opere di restauro volute dal neoeletto papa Sisto V, originario di queste terre, che nel 1585 interessarono le fortificazioni smerillesi. Dopo il Rinascimento la fortezza cadde in disuso e fu mano a mano abbandonata e demolita fino a ridursi ai pochi resti dello stato attuale. Il corpo di maggior grandezza della rocca era costituito probabilmente dal palazzo, del quale rimane il lungo muro che ancora cinge una delle piattaforme castellane. Nella parte interna della muraglia sono tuttora visibili i fori di alloggiamento delle travi delle impalcature in legno che si appoggiavano alla struttura, nella parte esterna si trovano tre contrafforti. Il resto della piattaforma dove sorge il palazzo è privo di altri elementi murari di spicco, la parte sud della piattaforma termina con un discreto dislivello, probabilmente qui si alzava un'altra parete del palazzo scomparso.
La parte più alta è occupata da una terrazza panoramica dove trova posto una croce in ferro montata sopra un piedistallo in laterizio, questa piattaforma unita ai resti delle fondamenta di una torre quadrata addossata alla struttura, rappresentano la rocca: il nucleo centrale delle difese del castello. Probabilmente invece della usuale torre qui si fece una scelta differente sebbene abbastanza diffusa in epoca normanna, quella del dongione, una struttura più grande e in genere di pianta rettangolare affiancata anche da altre torrette. All'ombra di questo torrione, nella parte bassa del fortilizio si trovavano le abitazioni delle famiglie dei nobili di Smerillo, divise da vicoli, altri spazi aperti come la piazzetta e gli orti, tutti protetti da una cinta muraria che si distaccava dal corpo centrale della rocca e si ricongiungeva nell'area del palazzo. Una sola abitazione riadattata per l'accoglienza dei visitatori e la porta d'ingresso al castello sono le uniche superstiti delle varie strutture che affollavano il colle fortificato.
Oggi un parco è stato ricavato nell'area dei ruderi e ne consigliamo la visita durante il tramonto quando le mura illuminate dal sole riprendono vita.