Vers 1880, un incendie détruisit l’ensemble du hameau de la Rivière, excepté la chapelle actuelle datant de 1850 .
Sur l’emplacement de l’une des maisons, les frères Maistre ont reconstruit une grande bâtisse comprenant trois habitations. Deux des frères qui étaient respectivement curés de Mieussy et de Megève ont eu droit à deux logements, côté sud, bâtis avec des fenêtres en ogive d’où le nom de « château ».
Le troisième frère, paysan, restait propriétaire de la ferme côté est et d’un logement dans le prolongement des deux autres, dans la partie nord.
En amont de la bâtisse, les deux abbés Maistre firent érigé un oratoire à la gloire de la Vierge pour implorer sa protection contre les catastrophes naturelles et les incendies….
En 1966, le Château est devenu l’acquisition de la famille de Robert et Irène Levet.
Avec le temps, l’oratoire s’est beaucoup dégradé . Dernièrement Jean-Christophe Levet a réalisé une belle et complète restauration avec des travaux de réfection complète du toit, de peinture des murs, de nettoyage de la statue de la Vierge Marie, d’amélioration des abords et d’installation d’une lumière nocturne.
Nous sommes sûrs que cette nouvelle jeunesse redonnera à cet oratoire ses vertus de protection des habitants de la Rivière et de la Pesse !