Rosso a lesene bianche, con fronte timpanato, il Palazzo Santa Margherita ha una lapide sopra l’ingresso che riporta la dicitura «Patronato pei figli del popolo». In effetti, già convento di frati nel Cinquecento, poi, dopo gli interventi ad opera di Francesco Vandelli, locale di servizio per la corte, nel 1874 il complesso fu adibito ad albergo per i bambini orfani, funzione che mantenne fino ad anni recenti.
Da non perdere sono il piacevole cortile quadrangolare colonnato (compositi sono gli edifici ai lati, a testimoniare la lunga storia del complesso) e, al primo piano, l’ampia sala Panaro. Oggi il palazzo è occupato dalla Biblioteca Antonio Delfini, la principale in città, dalla Galleria Civica e dal Museo della Figurina.