Il castello è costruito direttamente su un banco roccioso, in molti punti affiorante, ed è universalmente noto per la sua forma ottagonale. Su ognuno degli otto spigoli si innestano otto torri della stessa forma nelle cortine murarie in pietra calcarea locale, segnate da una cornice marcapiano, si aprono otto monòfore nel piano inferiore, sette bifore ed una sola trifora, rivolta verso Andria, in quello superiore.
Il cortile, di forma ottagonale, è caratterizzato, come tutto l’edificio, dal contrasto cromatico derivante dall’utilizzo di breccia corallina, pietra calcarea e marmi; un tempo erano presenti anche antiche sculture, di cui restano solo la lastra raffigurante il Corteo dei cavalieri ed un Frammento di figura antropomorfa.
In corrispondenza del piano superiore si aprono tre porte-finestre, sotto cui sono presenti alcuni elementi aggettanti ed alcuni fori, forse destinati a reggere un ballatoio ligneo utile a rendere indipendenti l’una dall’altra le sale, tutte comunicanti tra loro con un percorso anulare, ad eccezione della prima e dell’ottava, separate da una parete in cui si apre, in alto, un grande òculo, probabilmente utilizzato per comunicare.
Le sedici sale, otto per ciascun piano, hanno forma trapezoidale e sono state coperte con un’ingegnosa soluzione. Lo spazio è ripartito, infatti, in una campata centrale quadrata coperta a crocièra costolonata, ( con semicolonne in brèccia corallina a pianterreno e pilastri trilobati di marmo a quello superiore), mentre i residui spazi triangolari sono coperti da volte a botte ogivali.
Le chiavi di volta delle crociere sono diverse fra loro, decorate da elementi antropomorfi , zoomorfi e fitomorfi.
Il collegamento fra i due piani avviene attraverso tre scale a chiocciola inserite in altrettante torri.
Alcune di queste torri accolgono cisterne per la raccolta delle acque piovane, in parte convogliate anche verso la cisterna scavata nella roccia, al di sotto del cortile centrale. In altre torri, invece, sono ubicati i bagni, dotati di latrina e lavabo, ed affiancati i
tutti da un piccolo ambiente, probabilmente utilizzato come spogliatoio o forse destinato ad accogliere vasche per abluzioni, poiché la cura del corpo era molto praticata da Federico II e dalla sua corte, secondo un’usanza tipica di quel mondo arabo così amato dal sovrano.
Grandissimo interesse riveste il corredo scultoreo che, sebbene fortemente depauperato, fornisce una significativa testimonianza dell’originario apparato decorativo,un tempo caratterizzato anche dall’ampia gamma cromatica dei materiali impiegati: tessere musive, piastrelle maiolicate, paste vitree e dipinti murali, di cui fra la fine del ‘700 ed i primi dell’800 alcuni scrittori e storici locali videro le tracce, descrivendole nelle loro opere.
Attualmente sono ancora presenti le due mensole antropomorfe nella Torre del falconiere, i telamoni che sostengono la volta ad ombrello di una delle torri scalari ed un frammento del mosaico pavimentale nell’VIII sala al piano terra. Nella Pinacoteca Provinciale di Bari sono stati temporaneamente depositati, invece, due importanti frammenti scultorei, raffiguranti una Testa ed un Busto acefalo, rinvenuti nel corso dei lunghi restauri, che non hanno restituito alcuna traccia, invece, della vasca ottagonale posta al centro del cortile, citata da alcuni studiosi del secolo scorso.