À l'origine, une maison de maître se dresse déjà à cet emplacement, bien qu'aucune information précise ne nous soit parvenue à son sujet. Le domaine se compose alors de cette maison, d'une grange et de bâtiments de dépendances. Il appartient à Pierre Fantin, qui le vend à Jean-Louis de Budé-de Boisy (1729-1816). Le 17 février 1817, les héritiers de ce dernier cèdent la propriété à Auguste-Jacques Boissier-Butini (1784-1857). À son décès, le domaine revient à ses deux enfants, Edmond (1810-1885) et Valérie (1813-1894).

 

En 1837, Valérie épouse Agénor de Gasparin (1810-1871), homme politique français et écrivain. À la mort de son mari, survenue au Rivage le 14 mai 1871, Valérie décide de ne plus quitter la maison de maître. Recluses dans sa chambre, elle refuse même de descendre au jardin et maintient les volets fermés pendant plusieurs années. Durant cette période, elle consacre son temps à achever la publication des œuvres de son époux. Travaillant principalement la nuit, à la lueur d'une lampe ou d'une bougie, elle met sa vue en péril. Son oculiste l’avertit des conséquences de ce mode de vie, et Valérie finit par rouvrir ses volets, reprenant une vie rythmée par le jour et la nuit.

La religion occupe également une place importante dans sa vie. Pendant douze ans, chaque dimanche, elle reçoit chez elle, de deux à quatre heures de l'après-midi, quatre personnes par semaine. Au total, une centaine de jeunes filles – institutrices, demoiselles de magasin, ouvrières en horlogerie, entre autres – franchissent sa porte. À chacune, elle accorde un quart d’heure d’entretien, s’enquérant avec bienveillance de leur situation personnelle. Par la suite, elle réunit ses invitées pour un culte protestant suivi d’un goûter.

Valérie de Gasparin s’éteint au Rivage le 16 juin 1894. Ses obsèques se déroulent dans la maison de maître.

​

Son frère Edmond, botaniste veuf depuis 1849, partage son temps entre ses étés à Valeyres-sous-Rances (VD) et ses hivers à Pregny, au Rivage. Il y aménage une serre dédiée aux orchidées exotiques, témoignage de sa passion pour la botanique. Sa fille Caroline (1847-1918), mariée à William Barbey (1842-1914), lui aussi botaniste, s’installe dans la propriété voisine, La Grande Pierrière.

À partir de ce moment, William Barbey s'inscrit dans la continuité des travaux botaniques de son beau-père. À la mort d’Edmond, William reprend ses recherches et les poursuit sous le nom de Bulletin de l'Herbier Boissier, perpétuant ainsi l’héritage scientifique de la famille.

​

À la mort d’Edmond et de Valérie, la maison de maître tombe en ruine. Elle est détruite et remplacée en 1896 par l’actuelle maison de maître. Adoptant un nouveau style Louis XV et coiffée d’une toiture à quatre pans, l’architecture néoclassique en pierre de la maison se distingue par ses décors éclectiques d’une grande richesse. Elle a traversé le temps avec peu de modifications, hormis l’ajout du jardin d’hiver en 1960.