Cüneyd-i Bağdadî hazretlerinin talebelerinden. Kaynaklarda nerede doğduğu anlatılmamakla beraber, Hemedan yakınlarında dergahının bulunduğu beldede vefat ettiği bildirilmektedir. Ebu Bekr Şiblî, Ebü'l-Hasan Ali bin Muhammed Müzeyyen, Ebu Abdullah-ı Hafif'le arkadaşlıkları vardı. Bağdat, Şiraz, İsfehan, Mekke, Medine ve Hemedan'a ziyaretleri oldu. Abit ve zahit olup, ömrünün her anını Allahü tealanın razı olacağı bir işle geçirmeye gayret ederdi. Ömrü boyunca ilim tahsil edip, kalbinin kötülüklerden temizlenmesi için çalıştı. Talebelerine ilim ve Cehennem ateşinden korunma yollarını öğretti. Çok talebe yetiştirdi. Şöhretten kaçardı. Tanındığı yerden ayrılır, övülmekten hoşlanmazdı.
Ebu Abdullah-ı Hafif anlatır: “Ebu Talib Hazrec bin Ali hazretleri, Şiraz'a gelmişti. Midesi ağrıyordu. Oranın ileri gelenleri Şeyh'in hizmetini bana havale ettiler. Her gece on altı, on yedi defa kalkardı. Bir gece oturuyordum. Vakit bir hayli ilerlemişti. Uyku bastırınca uyuyakalmışım. Şeyh beni çağırmış, ikinci çağırışında kalkıp hizmetine koştum. Bana; “Ey çocuk, benim gibi mahlukun hizmetini doğru dürüst yapamıyorsun, Yaratan'ın hizmetini nasıl yapacaksın?” buyurdu.”
Yine Ebu Abdullah-ı Hafif anlatır: “Ebu Talib Hazrec, Şiraz'da sohbetini dinlemek için toplananların yanına geldi. Üzerindeki elbise çuvaldandı. Elinde de bir asa vardı. Ben de yanındaydım. Cemaate; “Size ne söyleyeceğimi bilemiyorum. Ben günahlar içinde çırpınan bir günahkarım.” dedi ve ağladı. Yanındakileri de ağlattı. Meclisi feryat ve çığlıklarla doldu. Şiraz'ın insanları onu çok sevip, ayak bastığı toprağı hastalara şifa diye topladılar. O, bu sevgiyi reddetti. Onların gözünden düşecek bir hareket yaptı. Herkes ondan yüz çevirdi. Hiç kimse ona iltifat etmez oldu. Oradan İsfehan'a gitti. Giderken Ali bin Sehl İsfehanî'ye onun üstünlüğünü belirten bir mektup yazıp verdim. O, İsfehan'da Ali bin Sehl ile görüşmedi. Hemedan'da vali Ebu Ali Varcî ile görüştü. Vali ihtiyacını sordu. O da talebeleri ile kalabileceği bir dergah yapmasını istedi. Orası yapılınca, binayı siyaha boyayıp, kendisi de siyah elbise giydi. Vefatına kadar orada kaldı.”