Cette église est considérée comme lieu historique local compte tenu de son ancienneté et du fait qu’elle était l’unique église presbytérienne dans la Cité de Clarence-Rockland.
En octobre 1885, la congrégation presbytérienne se rassemble à Rockland pour y célébrer leur culte, la prière et l'éloge. Vers l'année 1900, un petit groupe de paroissiens, avec l'aide de William Cameron Edward et de son épouse, Catherine Wilson, entreprend la construction de sa propre église sur la rue Marston (maintenant la rue St-Jean). Les offices religieux s'y tiennent le dimanche en après-midi ou en soirée. L'église est desservie par les pasteurs de Cumberland et d'Ottawa.
En 1901, William C. Edwards pose la pierre angulaire de l'église presbytérienne de Rockland. En octobre 1902, le premier office religieux est célébré dans la nouvelle église. En 1925, l'église presbytérienne de Rockland devient Saint-Andrew’s United Church, toujours active en 2017.
Construite vers les années 1900, la maison de brique devant l'église sert de presbytère. Vers 1910, la maison est habitée par le pasteur Herbert Pangborn. Le presbytère est toujours ouvert aux paroissiens qui ont besoin d'eau pour le thé ou pour d'autres fins en attendant l'installation du premier système d'eau. En 2000, le Pangborn Hall est ajouté à l'édifice de l'église, afin de commémorer la famille Pangborn, qui est apparaît dans les archives de l'église en 1910.