Portrait du comte de Dalhousie datant d'environ 1830.
George Ramsay débuta très jeune une carrière militaire. Il servit dans plusieurs pays et fut même impliqué dans la bataille de Waterloo. En 1816, il devint lieutenant-gouverneur de la Nouvelle-Écosse avec l'espoir d'obtenir éventuellement le poste de gouverneur en chef de l'Amérique du Nord britannique. Lorsqu'il apprit que sir John Coape Sherbrooke, alors gouverneur depuis 1816, avait dû quitter son poste en 1818 suite à un AVC, le comte de Dalhousie se montra intéressé à lui succéder. Cependant, le poste fut octroyé au duc de Richmond, beau-frère du comte de Bathurst alors secrétaire d'état aux colonies. Déçu, le comte de Dalhousie voulut démissionner. Le destin en décida autrement puisque le duc de Richmond décéda prématurément après avoir contracté la rage. Le comte de Dalhousie le remplaça donc comme gouverneur général à compter du 12 avril 1820.
Dès l'automne, il se plaignit du mauvais état des résidences de Québec (château Saint-Louis) et de Montréal (château De Ramezay) qui lui étaient assignées. De plus, il trouvait que durant l'été la chaleur y était insupportable. C'est pour cette raison que durant la saison chaude, il quittait la ville pour venir se réfugier avec sa femme et ses trois fils à la maison de William-Henry dans la fraîcheur d'un environnement champêtre. Il se sentait pourtant à l'étroit dans cette maison mentionnant qu'ils étaient obligés d'installer des tentes pour accommoder les serviteurs. De plus, il manquait de chambres pour accueillir les invités. Le gouverneur tenta donc de convaincre à plusieurs reprises les autorités britanniques de construire une demeure plus imposante digne du poste qu'il occupait, mais sans succès.
En 1821, le gouverneur acheta 50 acres de terres adjacentes à sa propriété de William-Henry pour y pratiquer des activités agricoles. En 1823, il y éleva des moutons et des vaches et y cultiva du trèfle, du foin et de l'avoine. La comtesse Dalhousie appréciait beaucoup la botanique. Elle se promenait dans la région pour chercher des fleurs qu'elle ajoutait à son jardin. Elle empruntait un sentier dans un boisé qui conserva longtemps le nom de « chemin de la comtesse ». S'exprimant très bien en français, elle n'avait aucune difficulté à communiquer avec les gens de la place. En 1827, elle donna même un exposé à Québec sur la flore canadienne. À Québec, le gouverneur et son épouse s'impliquaient beaucoup dans divers organismes sociaux et culturels.
Au début de son mandat, le gouverneur Dalhousie posa des gestes afin d'établir un climat politique harmonieux au Bas-Canada. Par contre, son caractère colérique et autoritaire eurent tôt fait de lui attirer les foudres de la majorité canadienne-française menée par Louis-Joseph Papineau. Pour apaiser les tensions avec le Parti patriote, on envoya le comte Dalhousie en Inde comme commandant en chef de l’armée et on nomma en 1828 James Kempt au poste de gouverneur.