À l'origine, une maison de maître se dresse déjà à cet emplacement, bien qu'aucune information précise ne nous soit parvenue à son sujet. Le domaine se compose alors de cette maison, d'une grange et de bâtiments de dépendances. Il appartient à Pierre Fantin, qui le vend à Jean-Louis de Budé-de Boisy (1729-1816). Le 17 février 1817, les héritiers de ce dernier cèdent la propriété à Auguste-Jacques Boissier-Butini (1784-1857). À son décès, le domaine revient à ses deux enfants, Edmond (1810-1885) et Valérie (1813-1894).

En 1837, Valérie épouse Agénor de Gasparin (1810-1871), homme politique français et écrivain. À la mort de son mari, survenue au Rivage le 14 mai 1871, Valérie décide de ne plus quitter la maison de maître. Elle s’éteint au Rivage le 16 juin 1894. Ses obsèques se déroulent dans la maison de maître.

 

Son frère Edmond, botaniste veuf depuis 1849, partage son temps entre ses étés à Valeyres-sous-Rances (VD) et ses hivers à Pregny, au Rivage. Il y aménage une serre dédiée aux orchidées exotiques, témoignage de sa passion pour la botanique. Sa fille Caroline (1847-1918), mariée à William Barbey (1842-1914), lui aussi botaniste, s’installe dans la propriété voisine, La Grande Pierrière.