In origine la sezione superiore era attigua alla chiesa parrocchiale di San Pietro, ed era sicuramente originaria al XVII secolo.
Alla fine dell'Ottocento, e fino ai primi decenni del Novecento, lo stabile era adibito a fabbrica per la lavorazione di bachi da seta (all'epoca Castignano era una località all'avanguardia per quel che concerne questa attività).
Dopo il sisma del 1943 il palazzo fu dichiarato inagibile, e negli anni che seguirono purtroppo ci furono delle demolizioni e i piani superiori furono smantellati.
Oggi, dopo decenni di abbandono, le sezioni inferiori sono state restaurate e riaperte al pubblico durante la manifestazione "Templaria", che si svolge ogni Agosto.
In un'altra porzione dell'edificio, nel 2012 è stato inaugurato il "Museo di Arti e Mestieri Castignanesi", al quale si è introdotti da un portale con un'effige femminile ed un iscrizione con la data del 1606. Strutturato su più livelli, il museo conserva una serie di oggetti e suppellettili appartenuti ad abitanti di Castignano e dintorni.
Al primo piano fa bella mostra di se una carrozza datata XVIII secolo, appartenuta all'importante famiglia terriera dei De Scrilli.