Gårdens historie går langt tilbake - muligens var stedet et høvdingsete i jernalderen. Gården har hatt mange eiere opp igjennom tidene, men den mest kjente er nok stortingsmannen Jonas Anton Hielm. Hans barnebarn Sofie Vold har skrevet en nydelig liten erindringsbok kalt "Gamle minder fra Christiania og Jeløen" utg. 1929 der vi får et inntrykk av gårdens storhetstid. Fortellingen starter med at Alby ble solgt og auksjonert bort i 1848. Lille Sofie, hennes søster June og mor og tanter flyttet til Braaten, Men....
"Den nye eier flyttede til Albye om sommeren i 1848 og vi flyttede ind paa Braaten. Vi besøgte ofte Arvesens paa Albye; - først efter at jeg blev større, fik jeg øie for, hvor smukt der i grunden var. Endnu staaer haven og parken der for mig som noget af det smukkeste jeg har seet; de smagfulde anlæg, de deilige aleer lig ned til søen, den smukke fiskepark med karudser, det høitsprudlende springvand, den kjølige, hemmeligheds-fulde grotte, kanonbatteriet, det chinesiske parti med det chinesiske lysthus, kanin-øen i parken med volde og grave og spiral-gang op til toppen og vindebro, saa at dyrene ei skulde komme i haven, det indiske bi-huus - den bugnende overflod af smagfuldt arrangerede blomsterpartier - det svævende lysthus høit oppe mellem lønnetræernes kroner, hvortil en af løvet skjult trappe med 24 trin førte op - den murede kamin, hvor der kunde koges kaffe, chokolade eller saadant, saa man kunde forstille sig, at man var paa skovtur langt fra menneskelige boliger - og saa det sted under taarepilen, hvor der var reist en liden mindestøtte over "Tante Thea", som Jone og jeg saa ofte pyntede med friske blomster.
Et stykke nedenfor haven var Albye-bryggen, hvor gaardens seilbaade og fiskebaade laae fortøiede - om aftenenhavde vi undertiden været med Lars Fisker og hans mædhjelpere, naar han trak laxe-garnet - (to gange om dagen var her fiskedræt - der fiskedes især lax og makrel) - den mindste af lyst-seilbaadene hed Theekoppen, den var vor yndling - også den blev solgt med alt det andet, men Theekoppens lille trefarvede flag fik vi med os til Braaten - endnu har jeg dette....."