Kastil ini dibangun dari basal hitam lokal dan merupakan struktur persegi dengan dinding sepanjang 80 meter yang melingkari halaman tengah yang luas. Di tengah-tengah halaman adalah sebuah masjid kecil. Di setiap sudut dinding luar, ada menara lonjong.

Yang menaik dari bangunan ini merupakan pintu masuk utama yang terbuat dari Batu dengan berat hingga 1 Ton berengsel tunggal yang besar, yang mengarah ke ruang depan. Meskipun sangat berat – 1 ton untuk masing-masing Pintu pada gerbang utama, 3 ton untuk satu sama lain – pintu batu ini cukup mudah dipindahkan, berkat minyak pohon palem. Penggunaan batu yang tidak biasa ini kemungkinan dikarenakan tidak ada sumber kayu yang dekat, selain dari kayu pohon palem, yang sangat lunak dan tidak cocok untuk bangunan.

Awalnya daerah ini dihuni oleh orang-orang Nabataean dan sekitar tahun 200 M yang berada di bawah kendali orang-orang Romawi. Bangsa Romawi membangun struktur batu menggunakan batu basal lokal yang membentuk dasar untuk konstruksi, struktur yang sama-sama digunakan oleh kerajaan Bizantium dan Umayyah.

Qasr al-Azraq menjalani tahap akhir utama pembangunannya pada tahun 1237 M, ketika ‘Izz ad-Din Aybak, seorang emir dari Umayah, mendesain ulang dan membentenginya. Benteng dalam bentuknya yang sekarang berasal dari periode ini.

Pada abad ke-16 Turki Ottoman menempatkan garnisun di sana, dan T. E. Lawrence (Lawrence of Arabia) membuat benteng di markas gurun selama musim dingin 1917 dan segala pengalamannya ditulisnya ke dalam bukunya yaitu “Seven Pillars of Wisdom”. Qasr al-Azraq sering disertakan dalam Tour perjalanan 1 hari dari Amman ke istana-istana gurun, bersama dengan Qasr Kharana dan Qasr Amra, keduanya di sebelah timur ibukota dan dicapai melalui Jalan Raya 40. dengan biaya tiket masuk sebesar 2 JD.