A Herrich-majorhoz két lakóépület tartozott: az egyik ma a Bókay-kert főépülete, a másik a múzeumnak otthont adó villa. Mindkettőt a kerület legrégebbi építményei között tartjuk számon. Herrich Károly halála után a Bókay-kert főépületét Bókay Árpádné Herrich Szidónia, a mai villát pedig Kiss Istvánné Herrich Leonia örökölte. Akkoriban egyszerű, részben gazdasági funkciójú hosszúház volt, a Margó Tivadar utca felé eső, déli oldalán ma is látható kisebb faterasszal. Ugyanilyet találunk a Bókay-kerti főépület déli frontján is. Leonia férje, az elsősorban középületeket tervező Kiss István az 1800-as évek utolsó évtizedében az épület nyugati végéhez keresztszárnyat és nagy méretű, díszes faszerkezetű, üvegezett verandát épített. A szomszéd, Bókay Árpád visszaemlékezéseiben csak „Tantenburgként” emlegette sógora impozáns nyaralóját. Az épület szerepelt az 1898-as lőrinci parcellázás egyik reklámképeslapján is. A villa fehér falaira a keresztszárnyon vörös tégladíszítés került az ablakok köré, a lábazatra és a felső párkányokra, a Margó Tivadar utca felé eső, déli oldalán a szárny homlokzata észak-európai előképeket idéz.

A nyaralószárny mellett rózsakertet és szökőkutat létesítettek, szobrokat helyeztek el, de távolabb találtak helyet a veteményesnek is.

Az épületet az 1930-as évek második felében adta el Kiss István özvegye, Leonia. Az új tulajdonos, Erdélyi Ferenc nemzetközi hírű festőművész Magyarországra hazatérve itt kívánt letelepedni. Ekkor alakult ki a kert és az épület mai formája és mérete, eredetileg mindkettő nagyobb volt. A T-alakú épület szárának, a régi majorsági hosszúháznak csak mintegy felét vásárolta meg Erdélyi, és az épületrész végét tűzfallal lezárta (a hosszúház másik felét tulajdonosa később lebontotta). Ez a tűzfal a jelenlegi épület kerítésvonali oldala. A festőművész 1937-ben a kastélyként emlegetett épületet körbekerítette (ez a mai kerítés) és a tetőtér egy részét beépítette. Elkészült a felső szintre vezető lépcsőház, az emeleti műterem és a terasz. A műteremből a teraszra nagy üvegportálon át lehetett kilépni.

A II. világháború után a villát államosították, szociális bérlakásokat alakítottak ki benne. A 2000-es évek elejére az épület és a kert is egyre rosszabb állapotba került. 2015-től a kerületi önkormányzat lépésről lépésre újítja meg az ingatlant, amelybe a Tomory Lajos Múzeum költözött.