Il primo nucleo fortificato dell'insediamento di Castellalto era sito dove oggi svetta la torre dell'acquedotto che in maniera discutibile sostituisce quella antica. L'incuria dell'uomo e il tempo hanno ormai snaturato l'area che comunque contiene alcuni resti delle muraglie che la componevano.
All'interno del primigenio castello aveva residenza la famiglia dei Trasmondi che probabilmente fu anche quella che lo eresse, seguita dai potenti Acquaviva. Concesso dall'imperatore Enrico VI nel 1195, Castellalto fu tra i primi feudi teramani della famiglia che qualche secolo dopo estendeva la propria egemonia su un vasto territorio con capitale ad Atri.
Si raggiunge l'antico sito castellano passando sotto la seconda porta compresa nel palazzo municipale, al fianco di quella che permette di accedere al paese, l'interno è stato pressochè svuotato degli edifici, demolita è gran parte della cinta muraria di cui rimangono diverse tracce. Campeggia al centro dell'area castellana la torre dell'acquedotto, al di sotto si possono vedere ancora dei resti delle strutture preesistenti, lungo il perimetro occidentale corre il belvedere che circonda parte dell'abitato. All'esterno del paese, a sud ed est si possono scorgere le muraglie giunte a noi ancora in piedi, le prime proseguono dal palazzo comunale e si interrompono prima della rupe ad occidente, dove inizia la passeggiata del belvedere, demolite in alcuni tratti e sostituite da abitazioni moderne in altri se ne vedono i basamenti muniti di scarpatura. Questa parte termina nei pressi della porta, dove esisteva un torrione angolare del quale rimangono alcune tracce nel municipio, qui le mura cominciavano a correre verso nord e attraversato l'accesso si vede il tratto affiancare l'attuale via principale del centro storico, Via Roma. Anche qui si ritrovano le scarpature delle mura, che da secoli ormai vivono in simbiosi con le abitazioni perdendo la loro connotazione militare, ma rendono comunque l'idea di come doveva apparire il castello all'epoca. Manca la torre angolare settentrionale che andava a chiudere il circuito.