Hendrik Swellengrebel werd in 1700 in Kaap de Goede Hoop geboren en kwam al op dertienjarige leeftijd als assistent, een lage administratieve functie, in dienst bij de VOC. Enkele jaren later, in 1739, had Hendrik het geschopt tot gouverneur van Kaap de Goede Hoop. De Kaap was in de tijd van Swellengrebel een slavensamenleving. Iedereen bezat slaafgemaakten en gebruikte hen in het huishouden en de landbouw. Ook de Swellengrebels, die uitgebreide landgoederen bezaten. Na zijn VOC-dienstverband trok Hendrik Swellengrebel naar de Republiek en vestigde zich in Utrecht. Hij kocht enkele landgoederen en een huis in de Korte Breedstraat, nu het Predikherenkerkhof, met een koetshuis en stallen aan de Jacobijnenstraat. In dit huis overleed Swellengrebel in 1760, waarna hij werd begraven in de Janskerk.
