Pieter Elsevier (1643-1696) en zijn tweede vrouw Sophia van Luchtenburg (ovl. 1691) woonden hier. Uit de archieven blijkt dat hun zoon Jonathan (1678-1717) in 1696 bij de VOC in dienst kwam en op meerdere schepen voor het bedrijf reisde. Hij was officier op zee en stierf in 1717 in functie, op de Kaap de Goede Hoop.   

In 1767 kocht Adriaan van Bronckhorst (1728-1806) dit huis. Hij was lid van de gemeenteraad, de rechtbanken en was burgemeester van Utrecht. Zijn dochter Alida Susanna van Bronckhorst (1760-1839) trouwde met Theodorus Nicolaas van Voorst (1758-1820), de zoon van Jan van Voorst (Janskerkhof 13). Dit huwelijk tussen Theodorus en Alida betekende dat de Van Bronckhorst familie nu een directe connectie had met de Van Voorst familie, een bekende profiteur van slavernij.