L'église et le presbytère de la Très-Sainte-Trinité sont considérés comme lieux historiques locaux compte tenu de leur architecture et de leur symbole religieux au sein de la communauté.
La magnifique église de la Très-Sainte-Trinité et son presbytère, joyaux de la Cité de Clarence-Rockland, sont désignés « biens patrimoniaux » le 10 juillet 2006. Jusqu'en 1885, les habitants doivent se rendre à Clarence Creek pour assister aux offices. Cette même année, suite aux nombreuses demandes des résidents de Rockland, l'évêque du diocèse d'Ottawa, Mgr Duhamel, autorise la construction d'une église (érigée au même emplacement que l'église actuelle). Le 5 juin 1886, elle est inaugurée par Mgr Duhamel.
Le 17 janvier 1899, à peine treize ans après son inauguration, l'église est entièrement rasée par les flammes. Avec l'appui de l'abbé Pierre-Siméon Hudon (curé de 1889 à 1934), des paroissiens, du diocèse d'Ottawa, du cabinet d'architectes Ray et Gauthier et de la compagnie W.C. Edwards, ont reconstruit au même endroit une église plus grande que la précédente. Par comble de malchance, le 23 décembre 1916, soit treize ans après son inauguration, la deuxième église est à son tour la proie des flammes à la grande consternation de tous.
L'église actuelle est construite sur le même site que les deux précédentes. Le curé Hudon supervise lui-même les travaux, en plus de donner un coup de main aux travailleurs. Il est secondé par M. Maranda, maître ouvrier de Plantagenet. En 1919, le travail est enfin terminé. Longue de 47 mètres et haute de 53 mètres avec son clocher en pointe et ses cinq cloches, elle domine toute la région. Encore aujourd'hui, elle s'impose comme un chef-d'œuvre d'architecture.
En 1919, au moment de la construction de l'église, le curé Hudon, que l'on disait être à la fois architecte, ingénieur et artisan, fait construire le presbytère. Il s'agit d'une construction en pierre taillée, haute de trois étages. Le presbytère compte deux grands salons, une salle à manger, une cuisine et 17 chambres à coucher. Son intérieur spacieux avec plafond élevé, couloir et escalier central, plancher de céramique et mobilier stylisé, lui donne une allure d’un château normand plutôt que celle d'un presbytère. D'ailleurs, Michel Prévost, archiviste en chef de l'Université d'Ottawa, a surnommé le presbytère de la Très-Sainte-Trinité le « Presbytère-Château ».