Net als Drift 27, Drift 31 en huizen aan de Wittevrouwenstraat werd dit gebouw in 1807 onderdeel van het paleis van Lodewijk Napoleon (1778-1846), nadat hij het had gekocht van Johannes Swellengrebels (Drift 21) vrouw. Lodewijk was van 1806 tot 1810 de koning van Nederland en de broer van Napoleon Bonaparte (1769-1846), die toen in Frankrijk regeerde. Napoleon Bonaparte herintroduceerde in 1802 de legaliteit van slavernij in Franse koloniën, nadat slavernij eerder was afgeschaft in 1794 tijdens de Franse Revolutie. De Franse revolutie had een grote impact die velen inspireerden om tegen de koloniale dynamiek van die tijd te strijden, waaronder Franse koloniën zoals Saint-Dominique (het huidige Haïti). 

Mensen in Haïti rebelleerde in 1791 tegen de Fransen, maar Haïti bleef onder Franse administratie, waardoor een sterkere tegenstand ontstond vanuit de Haïtiaanse mensen. Slavernij was uiteindelijk afgeschaft in het Noorden van Haïti in 1793, en in het Zuiden in 1794, waarmee het afschaffen van slavernij in Frankrijk werd aangespoord. Toen Napoleon slavernij herintroduceerde, rebelleerde Haïtianen nogmaals, dit keer onder de leiding van Toussaint de l’Ouverture (1734-1803). De Haïtianen wonnen deze oorlog na een jaar van vechten, wat andere gekoloniseerde landen inspireerde om in opstand te komen tegen hun onderdrukkers. Haïti betaalde echter een hoge prijs toen ze in 1825 werden gedwongen om Frankrijk het equivalent van 17,5 miljard euro te betalen als compensatie voor voormalige slavenhouders. Ze moesten dus betalen voor hun voortdurende vrijheid. Haïti kon de schuld pas in 1947 afbetalen. Hoewel de Franse regering de onrechtvaardigheid heeft erkend, hebben ze nooit enige herstelbetalingen aan Haïti gedaan.