Cette maison a été convertie en appartements pendant la deuxième moitié du 20e siècle et son apparence a donc considérablement été modifiée. Elle a été construite entre 1885 et 1886. Il s’agissait d’une grande maison de briques de trois étages. Elle avait un toit en mansarde, comme la maison Shuter-Klock, située au 12, rue Principale. Les fenêtres au troisième étage étaient arrondies et avaient des éléments décoratifs. Au premier étage, à l’avant, la maison présentait une véranda qui défilait d’un bout à l’autre de la façade côté rue.
Cette élégante, prestigieuse et charmante maison avait été construite par le capitaine Ambroise Goulet. Venant de Québec, le capitaine Goulet s’était établit à Aylmer en 1868, d’abord comme ingénieur pour la Union Forwarding Company. Une quinzaine d’années plus tard, il devint capitaine en achetant, construisant et dirigeant une petite flotte de bateaux à vapeur, dont le Albert qui remorquait les billots de bois sur la rivière. Le capitaine Goulet était connu pour son intérêt envers l’éducation publique. Lui et sa femme étaient bien connu pour leurs bonnes actions et très respectés par les résidents d’Aylmer. Sur la photo, on voit la petite Alice, fille du Dr. J.E. Woods qui était le voisin du capitaine Goulet.