Arroccato su un colle a metà strada tra Ascoli ed il Mare, tra la valle del Tronto e Offida, comune con il quale confina, la sua posizione centrale rispetto all'entroterra Piceno gli favorì una discreta importanza nel medioevo.
Viene donato nel XII al vescovo-conte di Ascoli e a lui sarà riconfermato dai diplomi degli imperatori Federico Barbarossa e dal nipote Federico II per ricompensare la devozione della curia ascolana alla causa imperiale, secondo il Marcucci le nobili famiglie ascolane dei Massei e dei Rainaldi. Nel 1262 il papa Urbano IV, riconoscendo l'autorità di Farfa, cede all'abbazia di Santa Vittoria in Matenano il castello di Castorano, successivamente rientra nel comitato ascolano che lo acquista dal nobile Rainaldo di Monsampolo nel 1283. Sotto lo stato ascolano ricoprirà un ruolo di discreta importanza e si espanderà fino alla vallata del Tronto annettendo l'antico castello di Ottavo, che sorgeva nei pressi di Colli del Tronto. Durante il periodo Albornoziano viene nominato nel 1356 nella "Descriptio Marchiae Anconitane", nel 1359 verrà saccheggiato da 200 fuoriusciti ascolani; dagli statuti del capoluogo del 1377 si sa che era una delle più importanti fortezze a presidio dei confini nord del comitato. Sempre da questi statuti emerge che queste zone di confine erano interessate da esenzioni fiscali atte a favorire l'immigrazione: in questo periodo molte famiglie della montagna ascolana, provenienti soprattutto da Roccafluvione e Montegallo, si insediarono nel territorio chiamando i nuovi insediamenti con i nomi di quelli di provenienza. Il XV secolo vede il castello perdere la sua importanza in favore di Appignano del Tronto che ne rivestirà il ruolo di punto strategico di confine. Nel 1467 sarà necessario ampliare le mura dell'ormai stretto castello, che venne rifortificato con un nuovo torrione nel 1471; subito dopo, nel 1485, le nuove opere difensive vennero testate durante l'inasprimento delle rivalità con Offida, che aveva causato devastazioni nel territorio castoranese e l'incendio del castello nel 1490, da parte delle truppe di Nicola Orsini da Pitigliano. Nel 1501 viene conquistato dal fuoriuscito ascolano Astolfo Guiderocchi; i gravi danneggiamenti al castello e l'esenzione fiscale dei nuovi venuti fecero indebitare il comune, che si vide costretto a chiedere aiuti economici al capoluogo. Per tutta la prima parte del XVI secolo si troverà in ristrettezze economiche e, data l'alta pressione fiscale, alcune famiglie emigrarono altrove, spopolando il castello, assaltato e devastato nel 1534 dagli eserciti fermani; solo il torrione riuscì a resistere fino alla fine alle milizie nemiche. Successivamente gli ascolani reinvestirono su Castorano rinsaldando le fortificazioni; nel 1539 papa Paolo III, per punizione, toglie il possesso del castello alla città picena per 4 anni. Negli anni successivi perderà i possessi a fondovalle in favore di due nuovi castelli che stavano prendendo piede: Castel di Lama e Colli; nel 1614 il comune pubblicherà i suoi statuti che sono giunti fino a noi. Durante la repubblica romana viene declassato a frazione di Offida per poi venir reintegrato a comune durante la restaurazione fino all'unità d'Italia. Sconquassato dal terremoto del 1943, il centro storico, che aveva subito grandi danni, sarà parzialmente recuperato.
Accedendo dalla porta castellana si inizia a salire verso la piazza alta del paese, dove la chiesa ed il torrione creano un suggestivo scenario. Oltrepassando la torre si accede al borgo più recente, una lunga piazza circondata da edifici moderni che termina con la facciata del palazzo comunale, continuando invece all'interno del castello si riscende verso il vecchio corso principale che corre parallelo all'antico tracciato delle mura. Un tempo circondato da abitazioni, queste sono state demolite e rimpiazzate da ampie balconate che mostrano splendide viste sull'arco montano abbruzzese-marchigiano.