Costruito nel corso della seconda metà  del XVIII secolo, si affaccia su piazza Umberto.
Il palazzo prende il nome dalla famiglia Vannozzi; Mariano, uno dei più insigni cittadini di Carassai, dimorò sicuramente qui, come attesta una lapide posta nel 1903.