Non può mancare, in un paese carico di storia, una possente muraglia che circondava l'abitato difendendolo in passato dagli imprevisti bellici che la politica locale del medioevo spesso forniva.
Il borgo di Smerillo trae origine dal castello feudale dei signori del paese e del vicino castello di Montepassillo, famiglia ricca e potente che era affittuaria dei circostanti territori dei monaci farfensi. Quando i signori vendono la rocca al comitato fermano nel 1298, la città prenderà possesso dell'incasato occupando il castello e, si legge dagli atti, poiché il borgo era privo di fortificazioni, impose agli abitanti di Smerillo di cingere il villaggio con nuove mura. I documenti fermani ci dicono anche che l'opera doveva essere terminata entro il 1303 ma non esistono altre carte che attestino la fine dei lavori per questa data, in ogni caso le strutture confermano uno stile risalente al XIV secolo. Le mura oltre a cingere il borgo crearono una seconda linea di difesa intorno alla rocca, rafforzandola e trasformandola in un complesso militare di discrete dimensioni ed importanza per l'epoca. Sisto V, il Papa Piceno, nel 1585 appena eletto inizia la sua opera di risanamento delle proprie terre d'origine: Smerillo ricevette l'esenzione dalle tasse per tre anni al fine di poter restaurare la cinta muraria che da tempo ormai era in rovina. Dopo questa data le mura divennero mano a mano inutili a scopo difensivo e quindi cadute in rovina nel corso degli anni furono progressivamente smantellate, riutilizzandone i materiali, uso che non permette oggi di poterne vedere chiaramente alcune parti del tracciato.
Partendo dai ruderi della Porta Sud situata sotto i resti del castello la cinta inizia percorrendo rettilinea il breve tratto tra l'accesso e la rupe che difende a occidente l'abitato, qui le mura cominciano a seguire il ciglio dello strapiombo senza particolari rilevanze architettoniche date le formidabili difese naturali. Le fortificazioni riacquistano importanza in prossimità della porta settentrionale dove rimane anche un breve tratto in cui sono visibili due feritoie da moschetto, proprio laddove le mura cominciano a curvare verso l'accesso cittadino. Il settore orientale invece è ormai andato perduto, riappare solo in prossimità della rocca dove si trovano i resti di una torre munita di feritoie, mancante della parte superiore ma di cui il piano a livello della strada è ancora visitabile. La cinta prosegue parallela alla strada fino alla fine dell'area della rocca dove va a chiudere il circuito raggiungendo la torre quadrata d'angolo ancora visibile, parzialmente demolita per far passare la strada ma di cui rimangono delle feritoie nella zona dell'angolo delle mura situato sotto la strada. Tornando ai resti della torre d'angolo possiamo notare la presenza di una piccola scarpatura alla base che ne rafforzava la struttura; mancante anch'essa della parte superiore, era aperta sul retro in puro stile trecentesco ed aveva il compito di controllare anche la sottostante strada di accesso al paese. Da qui una piccola muraglia risale parallela alla rupe fino a raggiungere il complesso della rocca e completare la suggestiva passeggiata.