L'imponente edificio, secondo studiosi locali, fu costruito pochi decenni dopo la morte di San Francesco ad opera del suo ordine. Si trattava inizialmente di una costruzione essenziale che è stata ampliata nel corso dei secoli. Nel 1243 Innocenzo IV avrebbe ufficialmente fatto richiesta, alle autorità di Offida, dei finanziamenti necessari ad ingrandire il convento divenuto ormai troppo piccolo per le esigenze dei monaci Francescani. L'edificio fu consacrato nel 1359, come testimonia una scritta posta sul lato del muro inferiore, e più volte ristrutturato nel corso degli anni. Nel 1655, grazie ai lasciti dell'avvocato offidano Armellini, fu istituito il monastero femminile in cui si stabilirono le monache benedettine. Il primo periodo della costruzione è quello medioevale, il secondo viene fatto risalire intorno al 1500-1600 ed il terzo al 1700. Le prime due fasi, che coincidono con il periodo della reggenza francescana, sono rintracciabili all'interno del convento, dove si conservano gli affreschi del Maestro di Offida con i cicli pittorici di Sant'Orsola e Caterina. Ci sono inoltre gli affreschi seicenteschi del chiostro contenenti numerose scene della vita di Sant'Antonio. La terza fase appartiene all'arrivo delle Benedettine e investe l'esterno del complesso. Fatta costruire nel 1738 da Monsignor Paolo Manara, la chiesa è in stile barocco ed occupa la parte centrale della chiesa primitiva francescana. All'interno vi sono tre altari con tele del XVII secolo. Sulla pala d'altare maggiore è raffigurata l'Addolorata tra i santi Benedetto, Scolastica, Marco e Luigi Gonzaga, ed è opera dell'artista mantovano Nicola Pannozzi. Sull'altare destro è accolta un'Immacolata con i santi Anna, Gioacchino, Antonio e Filippo Neri, mentre in quello di sinistra il romano Filippo Mondelli ritrae la Madonna del Carmine con i santi Placido, Apollonia, Mauro e Gertrude.