La chiesa di San Vincenzo e Anastasio sorge in una posizione strategica sulla piazza che un tempo accoglieva il mercato manifatturiero (oggi piazza Ventidio Basso), in un'area già occupata da un tempio ipogeo del VI secolo e posta sulla strada che portava al ponte romano e quindi al luogo dell'esecuzione di Sant'Emidio, meta di pellegrinaggio. Buona parte dell'edificio attuale appartiene al XIV secolo ma le sue origini risalgono al X-XI secolo, lo stesso periodo in cui si avviava il cantiere della cattedrale. All'epoca la chiesa era costituita da una semplice struttura a navata unica affiancata dal campanile autonomo. Ciò è ancora visibile nell'opera muraria che compone queste zone, con i grossi blocchi di travertino squadrati che vanno a costituire la torre e la parte alta della navata centrale, probabile materiale di reimpiego. Anche dal punto di vista stilistico i pochi elementi architettonici confermano l'appartenenza all'edificio più antico, con le austere bifore con capitello a pulvino che compaiono sia sulla torre che sulla sommità della navata centrale. La prima campagna di ristrutturazione importante si ebbe all'inizio del XIV secolo e contribuì a definire l'aspetto dell'odierna San Vincenzo e Anastasio. Si decise infatti di allargare la chiesa a tre navate e venne edificata la bellissima facciata suddivisa da cornici che vanno a formare una griglia di 64 riquadri. Vi sono ancora tracce di pittura in alcune zone, in basso a sinistra, che testimoniano come in origine la facciata fosse dipinta: probabilmente i quadrati erano dipinti a monocromo per esaltare lo spirito razionalistico della griglia. Questo tipo di facciata si rifà ad esempi del romanico abruzzese e umbro del XII secolo ed è rimasta incompiuta lasciando scoperta la parte superiore dell'edificio più antico. I lavori vennero eseguiti nel 1306 durante la reggenza del priore Bonaventura, ne è testimone l'iscrizione sull'archivolto del portale a tutto sesto, le cui decorazioni risalgono allo stesso anno. La strombatura del portale accoglie colonnine tortili con capitelli corinzi e, sugli archivolti, decorazioni a dentellature alternate a costoloni, mentre l'archivolto principale presenta un fregio in cui motivi vegetali escono dalle bocche di due draghi e un mascherone centrale. Ai lati sculture di leoni. La lunetta ospita un gruppo scultoreo con al centro la Madonna col Bambino e, ai lati, i due santi dedicatari della chiesa. Le figure, iconiche e dai tratti popolari , in origine erano colorate: vi sono infatti ancora tracce di pittura sulle statue, nonché sullo sfondo sul quale si stagliano. Questa lunetta fa il paio con quella della chiesa di San Giacomo, in cui le figure conservano ancora la coloritura. La ristrutturazione di San Vincenzo e Anastasio venne portata a termine nel 1389, quando, come è attestato da un'altra iscrizione, venne compiuta la navata destra e l'accorpamento del vecchio campanile. La chiesa venne dotata anche del portale laterale, molto più scarno di quello principale, presentando una semplice decorazione a costoloni con capitelli corinzi. Si può notare come le parti costruite nel XIV secolo siano dotate di una muratura composta da blocchi regolari di travertino, differentemente dai conci di reimpiego dell'edificio originario.
L'interno della chiesa, come già accennato, è a tre navate, suddiviso da due file di pilastri che vanno a formare degli arconi a tutto sesto. Il soffitto, a capriate in legno, è frutto di un recente restauro. Un altro arcone a tutto sesto introduce alla zona presbiteriale, composta da un'unica abside, che presenta una particolarità stilistica probabilmente derivante da modelli tardo antichi: essa infatti è circolare all'interno della chiesa e poligonale all'esterno. La luce passa attraverso tre monofore dalla profonda strombatura, delle quali la centrale risulta più grande delle laterali. Anche la zona absidale presenta una stratigrafia dell'opera muraria, dove nella parte più bassa troviamo i conci dell' XI secolo. Ciò significa che durante le ristrutturazioni del XIV secolo il pavimento del presbiterio venne rialzato per fare posto alla cripta che quindi non dovrebbe risalire oltre la fine del Duecento.
La cripta consiste in una vera singolarità architettonica, composta da due ambienti, uno principale ed uno più piccolo, entrambi con copertura a capanna e comunicanti attraverso un'apertura sostenuta da un grossolano pilastro con capitello quadrangolare. Questa conformazione dipende dal fatto che la cripta di San Vincenzo e Anastasio accoglieva una sorgente d'acqua ritenuta miracolosa, la quale scorreva nell'ambiente più piccolo, posto ad un livello inferiore rispetto al principale. Sulla volta di quest'ultimo compaiono degli affreschi, databili tra il 1330 e il 1350, che ritraggono la storia di San Silvestro papa. La scelta di questo ciclo è legata alle doti taumaturgiche dell'acqua della cripta, in quanto la leggenda narra che San Silvestro aveva curato l'imperatore Costantino dalla lebbra facendolo immergere nell'acqua del battistero di San Giovanni in Laterano. Un lebbrosario dedicato a San Silvestro, costruito sempre nel XIV secolo, sorgeva proprio accanto alla chiesa di San Vincenzo e Anastasio e venne demolito nel 1931.