In 1768 werd dit pand geërfd door Daniel Cornelis de Leeuw (1747-1834). Hij was mede-eigenaar van twee plantages; een suikerplantage genaamd Vreedestein en een andere genaamd De Eenzaamheid, beide gelegen in het moderne Guyana. Het is niet bekend hoeveel tot slaaf gemaakte mensen op deze plantages werkten. Vreedestein werd gestart door De Leeuw in 1777 met Willem Maurits Swellengrebel as mede-eigenaar. Willen was de broer van Johannes Swellengrebel, wie eigenaar was van Drift 21. Vijf jaar later werd de plantage verkocht voor 60.000 gulden. De Leeuw ontving 15.000 gulden (ongeveer 125.000 euro) als mede-eigenaar.   

Tien jaar later kocht Laurens Jan Nepveu (1751-1823) dit huis. Hij werd geboren in Paramaribo omdat zijn vader, Jan Nepveu (1719-1779), gouverneur-generaal van Suriname was. Als gouverneur zou Jan Nepveu 9000 gulden per jaar ontvangen (ongeveer 230.000 euro); en in zijn huis werkten tot slaaf gemaakte mensen. Na het overlijden van Jan Nepveu, erfde Laurens Jan Nepveu twee koffieplantages genaamd La Singularité en Ma Retraite met alle tot slaaf gemaakte mensen die daar werkten. Hij erfde ook een derde van het vermogen van zijn ouders, namelijk 600.000 gulden (ongeveer 15.000.000 euro). 

Leven op de plantages   

Dankzij archiefonderzoek krijgen wij een impressie over de wreedheid van het leven en werken op een plantage. Deze informatie is echter meestal geschreven door plantage eigenaars en andere mensen in een machtspositie. Zo schreef Laurens Jan Nepveu aan de plantagedirecteur van La Singularité in 1780 om voorzichtig te zijn met de tot slaaf gemaakte mensen. Dit was niet uit bezorgdheid voor hun welzijn, maar om economische redenen, aangezien het in die periode moeilijk was om tot slaaf gemaakte mensen te verkrijgen door een oorlog tussen Engeland en Nederland. Uit de gegevens blijkt dat de populatie op de plantage tussen 1779 en 1800 afnam van 283 tot 151 mensen.  

Een paar redenen kunnen deze afname verklaren. Veel mensen stierven door de harde omstandigheden. Ze konden ook doorverkocht worden en ergens anders gedwongen werken, of vrijgekocht worden, zoals Saratje. Saratje was een tot slaaf gemaakte vrouw die in 1793 werd vrijgekocht door de plantagedirecteur van La Singularité. Het is veronderstelt dat zij een romantische relatie hadden, maar de dynamiek van een dergelijke relatie zou sterk worden beïnvloed door de koloniale machtsdynamiek tussen een voormalige tot slaaf gemaakte en een plantagedirecteur. 

Slaafgemaakten vochten zelf voor hun vrijheid, bijvoorbeeld door in de jungle te ontsnappen. Jan, een tot slaaf gemaakte man, ontsnapte zo in 1779. Mensen waren niet altijd succesvol en konden opnieuw gevangen worden genomen. Een dergelijke ‘vangst’ kon een kleine beloning opleveren voor het terugbrengen van het ‘eigendom’ naar de plantage. Op de plantage Ma Retraite in 1793 werd er 28 gulden (700 euro) betaald aan een smid voor de ‘vangst’ van drie tot slaafgemaakten genaamd Harlequin, Pretant en Mey.