San Martino viene annoverata tra le più antiche abbazie della provincia di Ascoli. A proposito del luogo, vi sono dei documenti che testimoniano notizie riguardanti monaci Benedettini di Farfa, probabilmente tra l'VIII e il IX secolo. La conferma della giurisdizione Fermana fu effettuata dall'Imperatore Enrico VI nel 1193.
La chiesa venne edificata sicuramente sui resti di un antico tempio pagano, come lascia intuire la porzione di muro antistante la facciata principale. Antiche pietre, come ad esempio un'epigrafe riferente al culto della Dea Cupra, sono collocate sul pilastro di fronte alla porta laterale, mentre a sovrastarla ci sono dei reperti classici tra cui un piede di una statua romana incastonato nel muro e due acquasantiere (una è ricavata da un cippo quadrato sul quale è stato scolpito un elmo con corna di montone, mentre l' altra viene sorretta da una colonnina e presenta su di un lato delle colombe che bevono in un calice e sull'altro un animale beccato da un uccello). Decisamente suggestivo è l'affresco della Madonna del Latte, risalente molto probabilmente al XII-XIII sec. e recentemente restaurata. La devozione della figura della Madonna Nutrice era sentita nelle campagne e si lega al culto pagano della fecondità, che nei secoli antecedenti alla cristianità veniva celebrato nei pressi delle sorgenti d'acqua, per il valore spirituale di questo elemento. Anche nelle vicinanze della chiesa di San Martino vi era una sorgente, una cisterna di epoca romana chiamata "Bagno della Regina".