Le plus ancien acte relatif à cette propriété remonte à 1723. Il s’agit d’une cession de Jacob Chouet à Jean-Louis Chouet, dans laquelle le bâtiment est décrit comme « une propriété avec maison à deux étages sur des caves. grange, deux écuries, deux soliers, un grand pressoir, une grande cour close de murailles, situés au village de Chambésy au pays de Gex, jouxte le grand chemin tendant de Pregny à Chambésy au couchant ».

​

En 1761, la propriété passe entre les mains de Jean-Frédéric de Crinsoz, seigneur de Colombier-sur-Morges, qui la cède en 1771 à Barthélemy Jaquemet, aubergiste. Accablé par de nombreuses hypothèques, Jaquemet se voit contraint de vendre en 1788 à Henri-Louis Jaquet-Droz, mécanicien et horloger originaire de Neuchâtel. Jaquet-Droz décide de rénover l’habitation, alors dans un état très négligé. Il agrandit la vieille maison de ferme en construisant un corps de bâtiment où toute la famille s’installe. L’ensemble des constructions conserve un caractère rustique. Au fil des années, la maison subit plusieurs modifications et extensions. Cependant, en voulant superviser et réaliser lui-même les travaux, Jaquet-Droz s’expose aux intempéries alors que sa santé reste fragile. À sa mort en 1791, la propriété revient à sa fille, Cécile-Madeleine Jaquet-Droz. À partir de cette époque, la maison est habitée par Mme Bennelle, la belle-mère d’Henri-Louis Jaquet-Droz, ainsi que par sa veuve, Louise-Suzanne Jaquet-Droz, née Bennelle (1760-1874), et leur fille Cécile-Madeleine Jaquet-Droz.

​

Louis Perrot, passionné de nature et de botanique, passe souvent du temps chez sa tante par, Louise-Suzanne Jaquet-Droz, à la propriété de Pregny. C’est là qu’il rencontre notamment le naturaliste François Huber et le botaniste Augustin-Pyramus de Candolle, tous deux résidant à Pregny. C’est également à cette période qu’il fait la connaissance de sa cousine germaine, Cécile-Madeleine Jaquet-Droz, qu’il épouse le 23 février 1809. Le couple habite alors au premier étage de la maison.

À la mort de Cécile-Madeleine en 1815, Louis Perrot, devenu veuf, passe désormais uniquement les étés à la propriété de Pregny, en compagnie de sa tante Louise-Suzanne Jaquet-Droz toujours présente à la propriété. En 1826, il épouse Rosalie de Pourtalès-Boyve (1794-1876), avec qui il a quatre enfants.

En 1834, il vend la partie sud du domaine à Georges Haldimand (1781-1851), qui en fait, en 1836, le domaine de la maison de maître nommée « Les Ormeaux ».

 

À la mort de Louis Perrot-de Pourtalès en 1865, le domaine passe à son fils Adolphe Perrot, qui conserve la maison comme résidence secondaire tout en la laissant habiter par sa grand-mère Louise-Suzanne Jaquet-Droz, encore vivante à cette époque. En 1874, à la mort de Louise-Suzanne Jaquet-Droz, la maison reste vide avant d’être démolie en 1879.

Adolphe Perrot épouse, en 1863, Sophie Turrettini-de la Rive (1840-1899), avec qui il a un fils nommé François-Louis Perrot (1865-1949). En 1864, il édifie de nouvelles dépendances comprenant, des bâtiments de fermes et un logement pour l'une de ses sœurs.

Fier de ses origines neuchâteloises, Louis Perrot-de Pourtalès plante plusieurs ceps de vigne sur son coteau.