Il Palazzo prende il nome dalla famiglia Secreti, ormai da anni stabilitasi a Monterubbiano.
L'edificio è di importanza primaria, in quanto la sua costruzione viene fatta risalire al XVII-XVIII secolo, edificato su dei resti del Cassero del castello eretto da Francesco Sforza, esistente già nel XIII secolo.
La struttura è costituita da diversi corpi di fabbrica, che in alcuni tratti vanno ad inglobare l'impianto delle mura sforzesche, e all'interno si presentano ambienti a volta.
Palazzo Secreti, ancora in larga parte abitato dall'omonima famiglia, è accessibile al pubblico ogni anno in alcune settimane di settembre.