Il palazzo è stato costruito sul sito di un castello medievale o rocca. Il castello è stato ottenuto da Niccolò III d’Este dalla famiglia Della Rosa nel 15 ° secolo, e ricostruito da Borso d’Este nel 1458.
La facciata esterna sembra fare riferimento alle ville toscane più di quelle del Veneto.
Nella metà del 16 ° secolo, la prima villa estiva è stata costruita sul sito. Nei primi anni del 17 ° secolo, il duca Francesco I d’Este inizialmente ha commissionato la costruzione della struttura attuale dall’architetto Bartolomeo Avanzini. Nel corso dei secoli, il palazzo ha avuto molti proprietari, ma è ora di proprietà del Comune.
Il palazzo è meglio conosciuto per gli affreschi interni riccamente decorati (1638-1656) dell’artista francese Jean Boulanger, nonché da Angelo Michele Colonna, Agostino Mitelli, Baldassare Bianchi e Giovanni Giacomo Monti. che sono stati invitati da Boulanger a lavorare anche alla decorazione del palazzo. Luca Colombi, Giovanni Lazzoni, Lattanzio Maschio, Guercino, Salvator Rosa, Ludovico Lana hanno anche contribuito al palazzo d’arte. Il palazzo è conosciuto anche per i suoi giardini e la fantasiosa Peschiera. Quest’ultimo è stato progettato da Cavalli, ed era originariamente una grande grande “piscina” rettangolare circondata da un muro di cinta, sotto forma di un anfiteatro in rovina, e si chiama familiarmente il “Fontanazzo” (Fontana di massima).