Het echtpaar Samuel de Marez (1632-1691) en Margaretha Trip (1640-1714) kwam hier in 1679 wonen. Beiden kwamen uit families met enorme fortuinen. Samuel stamde af uit een adellijke familie en Margaretha’s vader en oom, Louis Trip (1605-1684) en Hendrik Trip (1607-1666), verdienden geld als wapenhandelaars. In de jaren 1660 waren de VOC en de WIC de grootste afnemers van het Trip bedrijf. Naast het gebruik van wapens als verdedigings- en aanvalsmiddel, gebruikte de WIC regelmatig wapens als ruilmiddel voor tot slaaf gemaakte mensen in Afrika. Dit alles droeg bij aan de stijging van Louis Trip’s vermogen van 46.000 naar 600.000 gulden in slechts 26 jaar. 

Rond 1719 huurde Gideon Boudaen (1686-1744) dit gebouw. Hij was vertegenwoordiger van Utrecht in de kamer van de VOC in Amsterdam. Voorafgaand aan deze benoeming werkte hij al voor de VOC. Aanvankelijk was hij naar Oost-Indië gestuurd om corruptie onder VOC-functionarissen aan te pakken, maar hij klom snel op in de rangen. Hij werkte in Surat, Batavia en Japan. In 1716 keerde hij terug naar de Republiek als commandant van de terugkerende vloot van de VOC, wat destijds een grote eer was. 

Veertig jaar later kocht Jan van Voorst (1716-1775) het huis. Van Voorst was een voormalig directeur-generaal van Elmina. Dit was een kustnederzetting in het huidige Ghana die een grote rol speelde in de trans-Atlantische slavenhandel, waar het slavenfort ‘Elmina’ was gevestigd, dat tevens de zeten van de WIC directeur-generaal aan de Goudkust was. Tot slaaf gemaakte mensen werden met geweld naar het Elmina-kasteel gebracht vanuit het binnenland van Afrika, aldaar vastgehouden en verkocht aan handelaren die hen naar Amerika verscheepten, waar ze gedwongen werden op plantages te werken. Jan van Voorst was als directeur verantwoordelijk voor deze procedures. In 1764 verscheepte hij persoonlijk 275 mensen naar Suriname, waar ze werden verkocht voor 103.939 gulden (ongeveer 2.600.000 euro). Een jaar later kwam hij wonen aan het Janskerkhof 13. Hij renoveerde het gebouw in de stijl die je vandaag ziet, met geld dat hij verdiende uit de slavenhandel.