Scavata all'interno della rupe di Colle San Marco, è una piccola cavità artificiale situata a pochi passi dai ruderi del convento di San Lorenzo in Carpineto. La presenza del religioso francescano Beato Corrado Miliani, che secondo la tradizione qui si era ritirato per passare gli ultimi anni di vita, ha dato nome all'eremo. Le leggende sul santo, realmente esistito ma della cui vita molto è stato inventato per amplificarne la notorietà, vogliono che dopo aver predicato in Libia ed essere stato docente alla Sorbona di Parigi, si fosse qui ritirato ad attendere la fine in meditazione e preghiera quando la sua fama di santo era già nota alla popolazione. Altra leggenda vuole che la grotta sia stata scavata da Corrado stesso insieme al confratello e amico Girolamo Masci, il futuro Papa Niccolò IV. Secondo più attente analisi storiografiche che smentiscono le tradizioni l'eremo fu scavato dai primi benedettini del vicino convento di San Lorenzo fondato nel VIII secolo, mentre del Beato Corrado non si è certi della sua conoscenza della grotta. Il convento visse un secondo rinnovamento quando San Francesco, giunto ad Ascoli, ebbe in dono dal vescovo il complesso, e quindi anche l'eremo, dove impiantò la prima comunità francescana locale, che poi si trasferì nel grande convento nei pressi di Piazza del Popolo, edificato dall’ordine.
Di fronte all'ingresso diruto del convento di San Lorenzo parte una diramazione del sentiero che costeggiando il bordo della rupe arriva fino alla grotta nascosta da alcuni macigni, dopo averli aggirati ci si arrampica in una fessura che sale fino all'ingresso, davanti a questo si trova una roccia con una croce scolpita e un'altra a lato della porta. Il piccolissimo accesso una volta era chiuso da una porticina ora non più presente, rimangono scavate nella pietra della grotta la cornice e due fessure nella roccia dove erano incassati i cardini. Il modestissimo interno presenta solo una mensola per un lume ed il giaciglio dell'eremita, entrambi scavati nella viva roccia, sulle pareti i segni degli strumenti con cui è stata realizzata, qualche piccolo graffito e un pò di muffa colorano l'ambiente.
Sulla parete rocciosa sono state aperte delle vie di arrampicata e quindi non è insolito imbattersi in gruppi di rocciatori, il suggestivo scenario dei boschi e delle bianche pareti rocciose e gli altri siti religiosi vicini come quello di San Marco, fanno sì che sia una interessante tappa di un giro più ampio.