Oggi sede della Scuola di Architettura e Design, il complesso conventuale dell'Annunziata, con la annessa chiesa, ha attraversato varie vicissitudini storiche che ne hanno modificato le destinazioni d'uso e l'aspetto architettonico. Le origini del sito risalgono fino al III secolo D.C., quando nell'area dove sorgerà l'attuale convento si trovava un Capitolium romano, edificio adibito ad importanti funzioni religiose. Nell'VIII secolo il luogo viene trasformato nel convento benedettino femminile di Sant'Angelo. A partire dall'XI secolo, invece, l'area venne utilizzata come ospedale fino al 1250, quando, attraverso un'istanza di Pietro da Verona (poi San Pietro Martire), l'edificio venne affidato alle suore agostiniane e venne costruita la prima chiesa della Ss. Annunziata. A questa campagna edificatoria dovrebbe risalire anche la costruzione del chiostro minore, che oggi appare come un semplice loggiato di archi a tutto sesto su pilastri di travertino. Più interessante, al centro, un pozzo del XV secolo. Nel 1444 il convento venne affidato alle suore della regola di Santa Monica, ma la vera svolta si ebbe nel 1481 quando divennero tenutari i Frati Minori Osservanti, che ressero il convento fino all'epoca delle soppressioni seguenti l'Unità d'Italia. Solo un anno dopo, nel 1482, la città di Ascoli venne investita della Libertas Ecclesiastica, ovvero di autonomia amministrativa nei confronti dello Stato della Chiesa. Il fatto avvenne il 25 marzo, festa dell'Annunziata, e da quel momento il convento rivestì una grande importanza simbolica per la città e divenne meta di una solenne processione che si svolgeva ogni anno nel giorno dell'importante ricorrenza. Legata a questo avvenimento è la straordinaria Annunciazione di Carlo Crivelli che era conservata in questo luogo ed ora, dopo diverse vicissitudini, alla National Gallery di Londra.
L'attuale chiesa venne eretta tra il 1485 e il 1514 dai maestri lombardi Domenico di Antonio e Giorgio di Baldassarre. Preceduta da un portico con otto arcate a tutto sesto, presenta una semplice facciata quadrangolare con grande oculo centrale, riecheggiante alcuni episodi del romanico gotico tipico delle Marche meridionali e dell'Abruzzo. Scolpito al proprio interno con fregi e decorazioni, l'oculo porta un'iscrizione che lo data al 1492. Di fianco alla facciata sorge un piccolo edificio composto da una cupola ottagonale innestata su un corpo cubico, il quale sembra riproporre le stesse forme del Battistero di piazza Arringo: si tratta di un oratorio, edificato nel 1486, dedicato a San Giacomo della Marca morto dieci anni prima.
Sotto il porticato si accede alla chiesa tramite un unico portale sovrastato da una lunetta contenente un'Annunciazione di difficile identificazione. L'interno della chiesa consiste in un'aula unica più una zona presbiteriale, alla quale si accede da un arcone a tutto sesto, chiusa da una volta a crociera con archi a sesto acuto (probabile residuo della chiesa più antica). A partire dal XVI secolo l'interno della chiesa venne più volte modificato e importanti interventi, agli arredi ed alla decorazione della chiesa, vennero condotti in epoca barocca: furono infatti aggiunti gli altari laterali e il grande organo sopra l'entrata. Notevole poi, alla fine del Seicento, l'intervento pittorico di Tommaso Nardini sul soffitto diviso a cassettoni, con il grande ovale centrale con l'Assunzione della Vergine: probabilmente uno dei cicli pittorici barocchi più importanti della città ascolana. Alla campagna edificatoria connessa alla reggenza dei Frati Minori dovrebbero risalire anche il chiostro maggiore e l'ex refettorio. Il primo costruito nel corso del XVI secolo e che mostra dei tratti rinascimentali con i due porticati con archi a tutto sesto sovrapposti. Quello inferiore pioggia su pilastrini ottagonali con capitello scolpito con foglie. Il loggiato superiore, con archi di dimensione dimezzata, ha colonnine tuscaniche. Il refettorio è degno di nota per la presenza di un affresco di Cola dell'Amatrice, una lunetta con la Salita al Calvario eseguita nel 1519.
La torre campanaria, edificata tra il 1514 e il 1547, riporta i tratti tipici dei campanili ascolani cinquecenteschi, con finestroni ad arco a tutto sesto, fasce marcapiano, balaustra con pilastrini ed edicola finale, ma ne rappresenta una variante più esile e svettante rispetto agli altri.