Swanendael werd rond 1629 gekocht van de Indianen door ene Gillis Hossett, in opdracht van Samuel Godijn. Godijn was bewindhebber van de Noordse Compagnie. Deze compagnie (1614-1642) was opgericht ter bevordering van de walvisvangst en werd ook wel de Compagnie van Spitsbergen genoemd. Swanendael was een van de eerste vestigingen in Nieuw-Nederland die beheerd werden door een patroon. Patroonschappen werden door de WIC verleend aan een soort van plantagehouders, met het verschil dat een plantage meestal uit één hoofdhuishouden bestaat en een patroonschap uit veel meer huishoudens. In 1631 arriveerden hier de eerste kolonisten: 28 mensen. Ondertussen waren er walvissen gesignaleerd in de baai. Het was de bedoeling te gaan handelen in de walvisolie. Echter, toen David de Vries (een van de aandeelhouders van het patroonschap) terugkwam van een reis naar Nederland, trof hij in 1632 het dorpje platgebrand aan. De inwoners waren omgebracht door de Indianen. Hiermee werd de kolonie opgeheven.
Op ruwweg dezelfde locatie werd in 1659 een fort gebouwd dat doorgaans in de bronnen vermeld staat als 'Compagnie's fort'. De locatie van het fort werd Hoerenkill of Whorekill. De omgeving werd in 1663 gekocht door de Nederlanders, maar een jaar later, in 1664, alweer door de Engelsen ingenomen.
