L’entrée à la zawiya se  fait par vestibule coudé semblable à celui des maisons kairouanaises, qui donne sur une cour pavée de marbre ornée d’un entrelacs de formes géométriques en marbre noir. Ce type de pavement était connu en Tunisie depuis l'époque hafside- à titre d’exemple on le trouve à la maidha (salle d’ablution rituelle) du Sultan - et se  répandit en Ifriqiya notamment à l'époque ottomane.  La cour est entourée de quatre portiques dont les murs sont tapissés de panneaux de plâtre sculpté (stuc) et de carreaux de céramique émaillée. Chacun  de ces quatre portiques se compose de trois arcs outrepassés qui s’inscrivent parfaitement dans  les traditions Kairouanaises.

Tous ces éléments sont organisés dans une harmonie exquise qui respecte les proportions entre les courbes et les différentes lignes droites, et traduit bien les prouesses de l’architecte qui a conçu ce monument.

Le portique sud précède la salle de prière, constituée de trois travées et de trois nefs, suivant le modèle architectural traditionnel  des mosquées islamiques.

Le portique nord-est donne accès au mausolée qui abrite la tombe de Sidi Ubayd al-Gharyani, ainsi que celle du sultan  hafside, Moulay al-Hassan, décédé en l'an 958 de l’hégire / 1550 CE. Il est surmonté  d'un magnifique plafond à caissons en bois dont l’ornementation  est faite de motifs géométriques et végétaux et d'arcs, qui se répètent régulièrement selon les principes du répertoire ornemental et architectural andalous.

      De l'extérieur, ce plafonds est surmonté d'un dôme pyramidal recouvert de tuiles vertes vernissées, rappelant celui du mausolée de Hammouda Pacha (1041-1076 de l’hégire / 1631-1666EC) et le celui de la zawiya de  Sidi Qasim al-Jalizi à Tunis.

Les autres dépendances du monument, qui se trouvent au rez-de-chaussée et au premier étage, se composent de pièces exiguës  destinées aux étudiants de l’école coranique. L'angle sud-est mène à une deuxième cour entourée de galléries reposant sur des chapiteaux byzantins et zirides et des colonnes ornées de sceaux et d'inscriptions en style coufique, probablement ramenés du site de Sabra, la capitale fatimide.

Cette cour mène à la salle des ablutions puis à un vestibule qui mène à l'extérieur de la zaouia