Si tratta del polo museale senza dubbio più importante della città: nelle sue sale si conservano opere di inestimabile valore e si snodano biblioteche, archivi e gallerie senza fine.
Il palazzo, dalle bellissime forme nello stile del XVIII secolo (si vedano in particolare i timpani alternati delle finestre), fu voluto da Francesco III qualche anno dopo la costruzione dell’edificio dall’altro lato della piazza, e precisamente nel 1764. Al progetto lavorarono insigni architetti: Pietro Termanini, Andrea Tarabusi, Francesco Croce e Francesco Vandelli. La destinazione originaria del complesso fu quella di albergo dei poveri. Nel 1788, tuttavia, Ercole III decise di trasformarlo in albergo delle arti, luogo in cui i giovani potevano essere istruiti alle varie attività artigianali. Dal 1881 è patrimonio comunale.
Subito oltre l’ingresso, nel cortile, si incontra la statua del Duca di Ferrara Borso d’Este, circondata, sotto le grandi volte, dal Museo Lapidario Estense. Il cortile accanto conserva altri reperti romani, ed è chiuso da una tettoia in vetro. In fondo a destra, rispetto all’entrata principale, una sorta di cappella laica magnificamente decorata ospita la statua del grande architetto Luigi Poletti, accesso all’omonima biblioteca d’arte. Lo scalone sulla destra, invece, conduce ai vari Musei qui ospitati: l’archivio storico comunale, la biblioteca estense, i Musei Civici archeologico-etnologico e d’arte medievale e moderna°°, nonché, all’ultimo piano, la Galleria Estense°°, senza dubbio una delle più importanti pinacoteche italiane.