1077 (H. 471) yılında İran'ın Geylan şehrinde doğdu. Babası Ebu Salih Musa bin Abdullah, annesi Fatıma binti Ebu Abdullah Ümmü'l-Hayr'dır. Peygamber Efendimiz'in soyundan olup, hem seyyid hem şeriftir.

Önce doğduğu yer olan Geylan'da ilim öğrenmeye başladı. Küçük yaşta Kur'an-ı Kerim'i ezberledi. Daha sonra Bağdat'a gidip, zamanın meşhur alimlerinden ilim tahsiline devam etti. Fıkıh ilmini, Ebu Hattab Mahfuz, Ebü'l-Vefa, Ali bin Ukayl, Ebu Hüseyin bin Kadı Ebu Ya'la ve diğer fıkıh alimlerinden; hadis ilmini, Ebu Galib bin Bakıllani, Ebu Said Muhammed bin Abdülkerim, Ebu Cafer ve diğer hadis alimlerinden; tasavvuf ilmini ise, Ebu Salih hazretlerinden, Şeyh Ebu Sa'id Ali Mahzumi'den ve Ebü'l-Hayr Muhammed bin Müslim Debbas'tan tahsil etti.

İlim tahsilini tamamladıktan sonra vaz ve ders vermeye başladı. Derslerine devam edenler arasında pekçok alim ve salih yetişti. Fıkıh ve hadis ilimlerinde müctehidlik derecesine yükseldi. Önceleri Şafii mezhebinde iken, Hanbeli mezhebinin ortadan kalkmak üzere olduğunu görerek Hanbeli mezhebine geçti. Böylece bu mezhep yayıldı. Bir ara vaaz ve ders vermeyi bırakıp, yalnızlığı tercih ederek, inzivaya çekildi. Bütün vakitlerini ibadet ve nefis mücadelesiyle geçirdi. Bir müddet bu hayata devam etti. Tekrar ders , vaaz ve fetva vermeye başladı. İki mezhepte de fetva verirdi. Pek çok kimse onun sohbetleri ile olgunlaştı; beş yüz Yahudi ve Hıristiyan onun huzurunda Müslüman oldu. Tam kırk sene on üç çeşit ilim ve fende ders verdi. Tasavvufta en yüksek dereceye ulaştı. Tasavvuftaki yoluna onun ismine izafeten "Kadiriyye" adı verildi. Ondan ilim ve feyz alan binlerce talebesi çeşitli memleketlere giderek İslamiyeti anlattılar.

1166 (H. 561)da Bağdat'ta vefat etti. Kabri Bağdat'tadır. Cenaze namazını kılmak üzere görülmemiş bir kalabalık toplandı. Cenaze namazını oğlu Abdülvehhab kıldırdı.