I pochi ruderi nei pressi della chiesa di San Pietro di Colpagano, forse sono le ultime vestigia di uno scomparso castello di confine.
Si Parla di questo fortilizio già a partire dal 1150, quando l'Imperatore Corrado III innalza alla dignità di principe il Vescovo di Ascoli. Inoltre gli riconferma la proprietà di una serie di feudi, molti a Sud del Tronto, nei quali è compreso quello di Colle Pagano. Nel 1137 molto probabilmente ricade nei possessi occupati dai normanni, infatti nello stesso anno un diploma dell'Imperatore Lotario III, ne ordina la restituzione. Nel 1179 c'è la conferma pontificia di Alessandro III al vescovo Trasmondo, dei suoi privilegi tra cui la chiesa di Sant'Erasmo a Pagano. Nel confinante Regno di Napoli nel frattempo, ai normanni si succedono gli svevi capeggiati dall'imperatore Enrico Barbarossa. Questi è in buoni rapporti col vescovo ascolano, all'epoca Rinaldo I di Massio, gli riconferma quindi il possesso dei castelli abruzzesi, stavolta occupati dalla stirpe normanna dei conti d'Aprutio. Il suo successore, Enrico VI, si interessa ancora alla questione nel 1187, dopo che i feudi si sono ribellati al vescovo, dichiarandosi indipendenti. Nel 1193 anche la Regina Giovanna di passaggio a Campli, ordina la loro restituzione. Nello stesso anno arriva anche l'ulteriore conferma imperiale, dove si legge di Colpagano, Folignano e Monte Santo. Gli abitanti però giurano fedeltà al religioso solo due anni più tardi. Nel 1252 continuano le concessioni pontificie, questa volta è il turno di Innocenzo IV, altre arrivano nel 1255 con Alessandro IV. Intanto si vede Manfredi, figlio di Federico II di Svevia, saccheggiare le campagne folignanesi e toccando probabilmente questa zona. Per il castello i disagi ancora non sono conclusi. Nel 1266 gli angioini riportano una vittoria schiacciante sugli svevi, per l'occasione rioccupano i castelli a ridosso di Ascoli, poco dopo il vescovo Rinaldo III sollecita Papa Clemente IV per riaverli. Nel 1271 sono segnalati Iacopo e Guglielmo di Ischia come possessori di metà del "Casale" di Colpagano, insieme a Isnardo Petul. Dato il titolo di casale, si nota che il castello è stato dismesso, trasformato in un semplice abitato privo di difese. Dai carteggi angioini nel 1273, risulta compreso per una metà nel "Giustizierato d'Abruzzo", probabilmente l'altra parte era ancora in mano al comitato ascolano. Nel 1291 era in carica Papa Niccolò IV, originario del vicino feudo di Lisciano, ricompensa la sua città intercedendo col Regno, riuscendo a fargli riavere i contesi castelli al confine. Torna di nuovo sotto la giurisdizione del regno napoletano dopo qualche tempo. Dai catasti di Ascoli del 1381 si può leggere del centro è parte del distretto di Civitella del Tronto, alcuni abitanti avevano anche possessi nelle limitrofe San Cipriano, Castel Folignano e San Gennaro. A causa delle guerre di successione del trono di Napoli, nel 1388 il comitato di Civitella decide di tornare sotto la più pacifica protezione ascolana e quindi negli Stati Pontifici. Ma alcuni colpi di mano nel 1395 fanno salire al governo della città i ghibellini, capeggiati dal Duca di Atri Andrea Matteo Acquaviva, soggiogandola con una feroce tirannia per circa un anno. Nel 1404 Re Ladislao d'Angiò, mette sotto la sua protezione lo stato ascolano e nel 1413 vi infeuda la famiglia dei Da Carrara. Papa Eugenio IV nel 1431, nomina i castellani per le fortificazioni presenti nel distretto di Civitella, tra queste compare anche Colpagano. Segue poi la dominazione sforzesca finita nel 1445, quando Alfonso V d'Aragona recupera i feudi di Civitella, che tornano stabilmente a far parte del Regno di Napoli. Nel 1463 si era appena provveduto a risistemarne le fortificazioni, difatti c'è una richiesta di esenzione delle tasse, rivolta a Ferrante d'Aragona dagli abitanti del castello, che si erano sobbarcati il mantenimento del fortilizio. Si legge inoltre della riottosità degli abitanti quando i civitellesi nel 1464, chiedono al Re il perdono per i delitti commessi dalla popolazione di Colpagano. Da questo momento si perdono le notizie sulla rocca, nei successivi atti storici non si parla più di fortificazioni e solo di "Villa". Il castello infatti perde la sua importanza e viene mano a mano smantellato, continua invece la storia dell'abitato che difendeva. Questo a sua volta verrà in seguito abbandonato e ad oggi rimane solo la chiesa, mentre la popolazione continuerà la sua vita nelle vicine frazioni di Piano San Pietro e Collevirtù.
La fortificazione sorgeva sulla cima del piccolo colle, sul limitare di un piccolo pianoro, lo si raggiunge percorrendo la strada che conduce alla chiesa. La si oltrepassa e ci si reca nell'area posteriore e punto più alto del rilievo, dove tra la vegetazione si vedono i resti di muraglie antiche. Probabilmente queste sono il basamento di qualche struttura più eminente; vi si vedono ancora i contorni di uno stretto ambiente rettangolare. Del resto dell'abitato si può solo intuire lo sviluppo delle sue mura dal limitare dalle rupi che lo circondano. Il resto degli edifici erano dislocati nelle piattaforme pianeggianti che circondano il sito e la chiesa, oggi occupate da un cimitero dismesso.