Evliyanın büyüklerindendir. Künyesi Ebü'l-Hüseyin olup, asıl ismi Ali bin Osman'dır. Kahire yakınlarında doğduğu Karafe köyüne nisbetle Karafî denildi. Dimyat'ta otururdu. 380 (m. 990) yılında yüz on yaşında iken vefat etti. Karafe Kabristanı'na defnedilmiştir.
Ebü'l-Hüseyin Saig-i Dineverî hazretlerinin talebelerindendir. Zamanın büyükleriyle sohbet etti. Tasavvufta yüksek derecelere kavuştu. Çok ibadet eder, dünya malına ehemmiyet vermezdi. Herkese anlayacağı dilden konuşur, ehli olmayanların yanında anlayamayacakları söz söylemezdi. İnsanların kalplerinin temizlenmesi ve ahirette selamete ermeleri için çalışırdı.
Şeyhülislam Abdullah-ı Herevî hazretleri anlatır: “Ebu Süleyman-ı Nilî bir gün Karafî'nin yanına geldi. Kaftanı iyice eskimişti. Karafî ona bakarak; ‘Ey Ebu Süleyman! Kaftanın eskimiş ama, iki kaşının arasında emir olacağına dair işaretler var.’ buyurdu. Ebu Süleyman, uzun bir zaman daha sofîliğe devam ettikten sonra, Fas tarafında bir bölgeye emir oldu. Yıllarca orada adaletle hüküm sürdü.”
Ebu Bekr-i Dükkî, Karafî'yi ziyarete gelmişti. Karafî; “Ey Ebu Bekr! Cihanda yalnız dolaştığın söylenirdi. Fakat seni iki başın arasında görüyorum.” buyurdu. Çok geçmeden Ebu Bekr evlendi ve iki çocuğu oldu. Onların arasına oturur ve Karafî'nin söylediklerini anlatırdı.
Karafî hazretleri, bir gemide uygunsuz bir harekete karşı koyup mâni olmaya çalışmasından dolayı eli ayağı bağlanıp suya atıldı. Ona bu hareketi yapanlar, namaz vakti gelince onun en önde safta namaz kıldığını gördüler. Elbisesi hiç ıslanmamıştı. Özür dileyip tövbe ettiler.
Şeyhülislam Abdullah-ı Herevî; “Karafî, dünyada eşi bulunmayan insanlardandır. Her hâliyle Allahü tealayı hatırlatırdı.” buyurdu. Şeyhülislam Abdullah-ı Herevî hazretleri, onu son devir büyüklerinden sayar ve Karafî hazretlerinin de aralarında bulunduğu bu mübarek insanlara; “Bunlar birer dahidir.” derdi.
Dünya malına ehemmiyet vermeyen Ebü'l-Hüseyin Karafî hazretleri, Kahire'de Karafe Kabristanı'nda medfundur.
