Strutture difensive di importanza primaria, il sistema di porte castellane di Castel di Croce è uno dei più interessanti da prendere in esame dato che è possibile ancora leggerne i profili.
Si comincia entrando nel primo attraversamento, trasformato nei secoli in abitazione, che presenta vari interventi recenti che richiamano il passato medievale, come le merlature del terrazzo adiacente e le finestre con il lunotto (in una di queste spicca una copia dello stemma del borgo, in travertino).
Sorpassato il primo fornice e il relativo passaggio coperto da travature, si sale per la seconda porta: affiancata dalla chiesa di Santa Maria del Popolo e più interessante dal punto di vista storico. Piuttosto ben conservata, la porta è costituita, come la precedente, da un arco ogivale in arenaria addossato alla cinta muraria, ed è sovrastato dallo stemma in travertino della comunità, posto sopra la chiave di volta. A sinistra invece, a ribadirne la fedeltà, appare il logoro stemma in arenaria della turrita città ascolana.
Negli ambienti interni della fortificazione aveva sede il palazzo del soppresso municipio.