Duke Roberts était le fils d’Edward Roberts venu d’Irlande en 1822 pour refaire sa fortune perdue dans le commerce. Le père avait établi sa famille sur une ferme dans Shefford mais, hélas, il ne fut pas plus chanceux ici. Son fils Duke, par contre, a très bien réussi. Il a débuté en agriculture pour se tourner vers le commerce de chevaux et éventuellement d’autres animaux. Dans une chronique de 1875, il aurait acheté quelque mille bêtes à cornes dans la région pour les revendre sur le marché de Montréal. Ceci montre l’importance du commerce qui se faisait alors entre la région et Montréal.

Marié à Martha Whitcomb (1842-1902), ils auraient laissé une belle maison à West Shefford à un de leur fils, Edward L. Roberts en 1873, pour venir construire leur nouvelle résidence à Waterloo. La maison était alors évaluée à 3 500 $. En 1882, ils étaient aussi propriétaires de quatre autres maisons, de trois magasins et d’une tannerie.

Après les Roberts, une suite de propriétaires se sont succédés, entre autres la famille du juge Guy Genest que les gens de la place se rappellent encore avec respect. Ce dernier l’avait achetée de Hector A. Jalbert. 

Sa voisine, la maison Robinson.