Il Museo si snoda attraverso gli ambienti dello splendido Palazzo Milzetti. L'edificio presenta la sistemazione architettonica progettata dall'architetto Giuseppe Pistocchi (1744-1814) nell'ultimo decennio del '700. Probabilmente fu il conte Nicola Milzetti a coinvolgere l'architetto nella ristrutturazione del nucleo delle antiche case Milzetti, danneggiate dal terremoto del 1781.
L'intervento di Pistocchi riguardò in particolare la facciata e le principali strutture murarie del Palazzo; tuttavia il suo atteggiamento filofrancese, che gli valse tra l'altro la prigione nel Forte di San Leo, gli alienarono le simpatie della città e fu dunque sostituito dall'architetto Giovanni Antonio Antolini (1754-1841) nella prosecuzione dei lavori.
Con la morte del conte Nicola Milzetti e il riscatto da parte del figlio Francesco dell'intera proprietà del Palazzo, ha inizio il secondo tempo dei lavori, condotti dall'Antolini che progettò il completamento dello scalone e del salotto ottagonale al piano nobile, aprendo la grande serliana sul giardino (1800-1801).
In successione si colloca l'intervento di Felice Giani (1757-1823) e dei suoi collaboratori. A Giani va fatta risalire l'invenzione dell'intero partito decorativo, progettato in tutti i dettagli. I dipinti sono stati eseguiti, anziché ad affresco, a tempera su muro; una tecnica meno costosa, che consentiva grande velocità nell'esecuzione e colori brillanti, trasparenti e tersi.
Studi e disegni di Giani per i dipinti e gli stucchi di Palazzo Milzetti si conservano in numerose collezioni italiane e straniere.
Al di là della facciata di Giuseppe Pistocchi, non scompartita da avancorpi o lesene ma ornata dal bugnato a punta di diamante che corre tutto attorno alle finestre, si prosegue lungo lo scalone dal semplicissimo androne verso il piano nobile.
Ha inizio a questo punto la sequenza delle sale di rappresentanza cui segue, altrettanto preziosa, la serie di stanze d'abitazione e dei servizi. È questo l'apporto nuovissimo del funzionalismo settecentesco, il risultato della moderna attenzione portata alle esigenze quotidiane della vita.