Fondée en 893, la forteresse de Hammamet avait servi de logement à l'intendant du ribat et à ses principaux compagnons, retirés ici de manière permanente par dévotion et ascèse ou pour surveiller les côtes afin de prévenir contre les dangers venus de la mer. Sous le règne du prince hafside Uthman (vers 1463) elle fut considérablement agrandie, afin de servir de résidence au gouverneur de la ville. Hammamet - la Mahomette des navigateurs européens de l’époque médiévale – s’est développée progressivement autour de cet ouvrage. Toutefois, contrairement à l'enceinte urbaine, ce monument, occupant l'angle Nord-Ouest de l'agglomération, fut l'objet d'importantes réfections, destinées à l'adapter aux armes à feux, à la fin du XVIe et au début du XVIIe siècles.
Aucune sorte de travaux ne fut entreprise au XIXe siècle, mais les voyageurs européens qui visitèrent la ville affirment qu’elle était entretenue à l'aide des revenus des biens habous ; qu’elle était en bon état, armée d'une vingtaine de canons de gros calibre et occupée par une garnison. Le monument, transformé en caserne après 1881 se détériora énormément en 1893 ; les terrasses et un pan de la courtine orientale s'effondrèrent. Elles ne furent restaurées qu'en 1900.
Tel qu'il se présente de nos jours, le monument dessine un carré déformé de 50 mètres de côtés, flanqué aux angles de quatre saillants de forme et de dimensions inégales. Hormis la tour barlongue hafside, plus haute que la courtine, composée intérieurement de deux chambres de défense, tous les bastions, ainsi que les courtines datent du XVI – XVII° siècle. Une porte unique, surmontée d'une bretèche, donne dans un couloir à double coude où se trouve une inscription commémorative datant de 1600. Les courtines (de 12 m de haut et de 6 m d'épaisseur) sont pour la plupart édifiées en terre pilonnée renforcée par un mur de revêtement en maçonnerie de moellons. La cour est bordée de cellules servant auparavant de prison et de magasins, très remaniés. En son milieu, s'élève le mausolée de Sidi Bouali, volontaire de la guerre sainte de la fin du XVe siècle. Non loin de là, se trouvait le tombeau du dey Ali Laz exécuté en 1673 à la suite de la rébellion qu'il dirigea contre le bey Mourad II.