L'edificio che ospita la collezione è un'elegante costruzione del XVI sec., eretta probabilmente su disegno di Antonio da Sangallo il Giovane. Esso è noto anche come "Farnesina ai Baullari" perché i gigli che ornano la sua architettura venivano erroneamente attribuiti ai Farnese. Appartengono invece allo stemma araldico del prelato bretone Le Roy, che faceva edificare il palazzetto intorno al 1524.

A partire dalla prima metà del Seicento la sua proprietà passava ai vescovi Silvestri, originari di Cingoli, nelle Marche, e "familiari" di Urbano VIII (1623-1644), che facevano eseguire gli affreschi che ornano la loggia inferiore e gli interni dell’edificio da un pittore, o da più pittori, forse della cerchia di Agostino Tassi.
Gli affreschi attualmente visibili fanno parte di un ciclo originariamente più vasto, destinato ad esaltare le glorie della famiglia Silvestri: nel tessuto della decorazione a grottesche, si aprono finestre e trompe l'oeil che inquadrano emblemi araldici e animali dal significato simbolico. Tra questi, ricorre lo scorpione con cimiero e lettera B, antica "arma" della famiglia.

Nel corso del XVIII secolo e fino alla prima metà dell'Ottocento, il palazzetto passava attraverso numerosi cambi di proprietà, mantenendo tuttavia l'assetto a due piani con entrata principale da vicolo dell'Aquila e facciata posteriore a logge, testimoniati in un'incisione del Falda del 1655. Sappiamo tuttavia che già prima del 1863 venivano sopraelevati due piani dell'edificio, in vista di un suo sfruttamento intensivo. Contemporaneamente, sul lato rivolto verso l'attuale corso Vittorio, venivano costruiti corpi di fabbrica ad uso abitativo.
L'opportunità di "demolire le superfetazioni" e restituire l'edificio alsuo aspetto originale veniva decretata dal Comune di Roma in una delibera del 1885, nella quale veniva deciso l'esproprio del palazzetto in vista dell'apertura di corso Vittorio Emanuele II.

Divenuto proprietario dell'immobile, nel 1886 il Comune bandiva "un concorso artistico per il restauro dell'edificio detto della Farnesina in via dei Baullari", di cui risultava vincitore Enrico Guj, vice direttore della Regia Scuola degli Ingegneri di Roma, che presentava un progetto improntato a criteri conservativi dell'assetto seicentesco e che per primo ne avrebbe auspicato la destinazione a museo.

Con molto ritardo, dovuto a difficoltà finanziarie, i lavori avevano inizio nel 1898. Essi comportavano, sempre sotto la direzione artistica del Guj, la demolizione dei piani sopraelevati, la ricostruzione della facciata su corso Vittorio (che comportava anche l'aggiunta dei tre piani del loggiato ad angolo su vicolo dell'Aquila), l'aggiunta della scalinata e della "piazzetta" semicircolare esterna su via dei Baullari (pensata dal Guj per eliminare il dislivello esistente tra corso Vittorio e l'attuale ingresso al museo), il rifacimento dei tetti, oltre che ingenti opere di risistemazione degli intonaci, decorazioni, infissi e il restauro dei travertini. I lavori risultano per lo più ultimati entro il 1905.