K větší přestavbě stavby možná došlo někdy po roce 1743, kdy zdejší pozemky koupil František z Bertramu (Peltranu), podle něhož se usedlost jmenuje. Pokud již tehdy usedlost sloužila k letnímu pobytu, byla to její vedlejší funkce, hlavní náplní staveb zůstala hospodářská činnost.

To nakonec vyplývá i z kupní smlouvy, kterou uzavřeli operní pěvkyně Josefína Dušková a její manžel, klavírista a hudební skladatel František Xaver Dušek, s dřívějšími vlastníky, hrabaty Clam-Gallas.

Podle popisu tehdy manželé Duškovi získali „vinici za Újezdskou branou ležící, obecně Bertramkou zvanou, dříve Kolbovský dvůr, se všemi k tomu patřícími osetými polnostmi, kuchyňskou zahradou a štěpnicí, obytným domem, sýpkou a stodolou, s pěti kravami a dvěma tažnými voly, vozem a pluhem.“

Usedlost naplňovala romantické představy o architektuře

Pastorální idylka podle tehdejších romantických představ, včetně zápachu, šířícího se z chlévů. Nelze se proto divit, že se zde líbilo i osobě nejslavnější, která tu pobývala dokonce dvakrát, Wolfgangu Amadeu Mozartovi.

Stále se tu ukazuje jeden z pokojů jako Mozartův, v zahradě nalezneme Mozartovu bustu od Tomáše Seidana z roku 1876, ale také obnovený kamenný stůl, na kterém Mozart údajně komponoval slavného Dona Giovanniho.

Později vznikla i romantická anglická zahrada a pavilon

Asi již za Dušků, kteří byli vlastníky jen do roku 1799, došlo k postupné přeměně blízkého okolí v romantickou anglickou zahrádku se zahradním pavilonem. Usedlost po nějaké době koupil velký Mozartův ctitel Lambert Popelka a jako mozartovskou památku uchovával Bertramku i jeho syn Adolf.

I přes velkou péči o zachování památky zničil roku 1871 Bertramku požár, jenž si vyžádal zásadní přestavbu. Odkazem se usedlost dostala v roce 1925 do vlastnictví mezinárodní nadace Mozarteum v Salzburgu, od které ji v roce 1929 odkoupila česká Mozartova obec.