Vanaf 1763 woonde Johannes Swellengrebel (1728-1798) in dit huis. Zijn vader, Hendrik Swellengrebel (1700-1760), was tussen 1739 en 1751 de gouverneur van de kolonie Kaap de Goede Hoop. Kaap de Goede Hoop was een Nederlandse kustkolonie in Zuid-Afrika van 1652 tot 1795. Het werd voornamelijk gebruikt voor landbouw en het bevoorraden van VOC schepen die naar en van Nederlands-Indië voeren. Tot slaaf gemaakte mensen werden meegenomen uit Afrika en Azië om op het land en in de huizen van VOC-functionarissen te werken. In 1750, 1300 VOC-medewerkers en 4000 andere Europeanen woonden in de Kaap, samen met 5500 tot slaaf gemaakte mensen. Het aantal tot slaaf gemaakte mensen in de kolonie steeg naar 25.000 aan het eind van de 18^e eeuw. Johannes en zijn broers en zussen groeiden op in de Kaap in een huis en gemeenschap waar tot slaaf gemaakte mensen werkten, maar het is niet bekend of er tot slaaf gemaakte mensen in Drift 21 werkten terwijl Johannes daar woonde. Hendrik Swellengrebel overleed in 1760 en is begraven in de Janskerk. Zijn positie als gouverneur liet hem een fortuin na; al zijn 8 kinderen erfden 30.000 gulden (250.000 euro).  

Johannes Swellengrebel erfde in 1775 Drift 29 van zijn tante. Zijn vrouw, Geertruida Elisabeth Hilgers (1734-1815), verkocht dat gebouw aan Lodewijk Napoleon in 1807 na Swellengrebels overlijden.