Le 15 octobre 1858, Adolph Carl von Rothschild (1823-1900) acquiert une bande étroite de terrain, située entre la Route de Lausanne et le Léman, appartenant à Madame Huber-Saladin, où un petit chalet est déjà édifié. Il y fait alors construire un port destiné à accueillir son yacht, Le Farfadet. Pendant la construction de son nouveau château de Pregny entre 1858 et 1860, il y réside avec sa femme Julie (1830-1907).

En 1865, Adolph fait démolir le chalet et y fait construire, par les architectes Francis Gindroz ou John Camoletti (1848-1894), une petite villa nommée « Port Rouge ». Ce pavillon de bain comprend également des espaces pour accueillir les chevaux et les voitures, facilitant les déplacements entre le sommet de la colline et le bord du lac. Entre 1860 et 1880, il améliore également l'aménagement du port. En 1875, Julie fait construire, dans la commune voisine de Bellevue, un abri pour son bateau La Gitana, abandonnant ainsi le port de Chambésy, jugé trop exposé à la bise et insuffisamment profond.

​

Après avoir légué le château de Pregny à sa femme Julie en 1871, Adolphe conserve la villa « Port Rouge », qu'il lègue à la Fondation Rothschild à sa mort en 1900. En 1929, le terrain est ensuite vendu à Maurice Duval, qui détruit les constructions annexes et divise la parcelle en trois terrains distincts : La parcelle sud est acquise par Arnold Amstutz (1864-1932), qui fait construire en 1913 la villa « Terrasse-Midi » par les architectes Revilliod et Turrettini. La parcelle centrale est achetée par Mary Bonnet, qui y fait ériger un chalet nommé « Les Dauphins ». Quant à la parcelle nord, elle est conservée par Maurice Duval, qui y garde la villa « Port Rouge ». Par la suite, en 1929, Arnold Amstutz acquiert la parcelle nord, comprenant la villa « Port Rouge », de Maurice Duval.

En amont, le déplacement de la Route de Lausanne vers l'ouest en 1937 entraîne la perte des grilles de clôture, mais permet l'agrandissement des trois parcelles.

En 1946, Jean Amstutz, fils d'Arnold, rachète les deux propriétés à sa mère Jeanne (1868-1960) et acquiert la parcelle centrale, comprenant le chalet « Les Dauphins », des nièces Bonnet, héritières du bien. La famille Amstutz devient ainsi propriétaire de l'ensemble des parcelles. Dans les années 1950, il fusionne la parcelle centrale avec celle du nord pour n'en former qu'une seule et fait construire, par l'architecte Marc Gignoux entre 1966 et 1970, une maison de maître pastiche de style Louis XIII, presque accolée à la villa « Port Rouge » existante. En 1977, il fait détruire le chalet « Les Dauphins ».