Signe ja Ane Gyllenberg perustivat lääketieteellisen tutkimussäätiön vuonna 1948. Taiteen merkitys säätiössä kasvoi, kun Ane päätti lahjoittaa merkittävän taidekokoelmansa säätiölle vuonna 1966. Ajatuksena oli saattaa taidekokoelma yleisön nähtäville, mistä lähti myös ajatus museon rakentamisesta kodin yhteyteen.

Museo sijaitsee Signen ja Anen entisessä kodissa, jonka alkuperäisen osan on piirtänyt Matti Finell. Laajennus taloon tehtiin 1955.

Vuonna 1980 käyttöön vihityn lisärakennuksen tai gallerian on suunnitellut arkkitehtitoimisto Ålander – Packalén – Korsström, pääarkkitehtina Per-Mauritz Ålander. Per-Mauritz Ålander on työskennellyt Alvar Aallolle.

Sekä Signe että Ane Gyllenberg kuolivat vuonna 1977. Ane menehtyi 28. tammikuuta ja Signe 30. lokakuuta. Villa Gyllenberg vihittiin virallisesti käyttöön joulukuussa 1980.