En 1650, Charles Houël, gouverneur puis seigneur et propriétaire de la Guadeloupe, fait bâtir un donjon. Il s'agit de la tour carrée faisant 11 m de côté et 3 étages de haut qu'on peut visiter sur place de nos jours. Il le fait ensuite renforcer par la construction de murs à angles en forme d'octogone afin de sécuriser cet endroit, symbole de son pouvoir sur la population.
Ce lieu qui domine la ville de Basse-Terre portera différents noms au fil des siècles avant de prendre son nom actuel de Fort Delgrès en 1989, en hommage à Louis Delgrès, le héro de la lutte contre l'esclavage.