In 1781 woonde Joan Gideon Loten (1710-1789) in dit gebouw, wat hij zich kon veroorloven door zijn zeer lucratieve carrière bij de VOC, waarbij hij meer dan 690.000 gulden (17.250.000 euro) verdiend had. Hij werd onderkoopman van de VOC in 1731, gouverneur van Makassar in 1743 en gouverneur van Ceylon (hedendaagse Sri Lanka) in 1752. Hij had meerdere tot slaaf gemaakte mensen in zijn huishouden, waaronder een vrouw genaamd Sitie.  

Sitie werd in 1752 aan Joan geschonken door de koning van Zuid-Sulawesi en kwam met Loten naar Utrecht. Haar status is in Nederland onduidelijk. Slavernij was destijds illegaal op Nederlands grondgebied, maar Joan zei dat Sitie geen slaaf was maar een geschenk. Uit brieven blijkt dat Sitie de wens uitte om terug te keren naar Zuid-Sulawesi, is het onwaarschijnlijk dat ze dat ooit heeft gedaan. In het testament van Joan stond dat Sitie een jaarlijkse toelage van 220 gulden zou krijgen na zijn overlijden, maar dat ze deze alleen zou ontvangen als ze trouwde met toestemming van zijn erfgenamen. Ondanks dat slavernij in Nederland was afgeschaft, werden situaties zoals die van Sitie nog altijd beïnvloed door de koloniale mentaliteit van deze periode.