Anadolu'da yetişen velîlerden. Babası Köse Ahmed Efendi'dir. Aile lakabı Sipahigiller'dir. Elazığ'ın Sarılı köyünde 1294 (m. 1877)'de doğdu. 3 Şaban 1384 (m. 1964 senesi Aralık ayının dokuzunda) Çarşambayı Perşembeye bağlayan gece, şafak vakti vefat etti. Elazığ'da defnedildi.
Beş-altı yaşlarına geldiğinde ailesi ile birlikte Gurbet Mezire isimli köye göç etti. Burada arkadaşları ile koyun güderken, onar İhlas okuyup, dervişlerin zikirlerini taklit ederlerdi.
Bir süre sonra Muharrem Efendi, ilim tahsiline başladı. On beş yaşları ortalarındayken ailesi Sofular köyüne göç etti. Bu köyde Kadirî ve Nakşibendî şeyhi Hacı Ömer Efendi ile tanıştı. Birkaç gün o zatın sohbetlerinde bulundu. O zat köyüne geri giderken; “Nereye gidiyorsunuz, ben sizi nerede bulurum, size nasıl gelirim?” diye sorunca; “Biz seni kendimize çekeriz.” cevabını aldı.
Aradan bir süre geçince, Muharrem Efendi, Hacı Ömer Efendiyi özledi. Fakat bir türlü onun kendisini çekmediğini görünce, yola çıktı. Yürüye yürüye Kövenk köyüne vardı. Çeşmede abdest alıp Cuma namazını kılmak için camiye doğru giderken, evinin önünde bekleyen Hacı Ömer Efendi; “Gel benim talebem! Gördün mü seni nasıl kendime çektim?” dedi.
Hacı Ömer Efendiye bağlandıktan sonra Muharrem Efendi, yaz-kış demeden hemen hemen her gün 7-8 saat mesafe uzaktaki hocasını görmeye giderdi. Muharrem Efendi ailesi ile birlikte birkaç köy daha dolaştıktan sonra, 1323 (m.1905)'te Harput'a yerleşti. Medresede Hacı Abdullah Efendiden ve oğullarından zahirî ilimleri öğrenmeye başladı. Bir yandan ilim öğrendi, bir yandan da hocası Hacı Ömer Efendiyi sık sık ziyaret etti. Bir ara büyük âlim ve veli Beyzade Ali Rıza Efendiye müezzinlik yaptı.
Bir gün manevîyata dair bir eserin, anlayamadığı bazı yerlerini hocasına sormak için Harput'a gitmek üzere yola çıktı. Kitabı koynuna koymuştu. Mezire yakınlarında bir pınarın başında biraz dinlenmek için oturdu. Elini koynuna soktuğunda kitabı bulamadı. Hemen abdest alıp Abdülkadir-i Geylanî hazretlerinin vasıtası ile Allahü tealaya kitabın bulunması için yalvardı. Kitabı kaybolduğundan evine geri dönmek mecburiyetinde kaldı. Eve gelince hanımı; “Yahu sen ne tuhaf adamsın? Hem kitabı götürüyor, hem de geri gönderiyorsun?” deyince, Muharrem Efendi, “Ne oldu?” diye sordu. Hanımı; “Orta boylu, sakallı bir zat kitabı getirdi ve şöyle dedi: “Bu kitabı al ve ona kitabının bekçisi olmadığımı söyle!” dedi.”
1324 (m. 1906)'da askerlik vazifesine başlayan Muharrem Hilmi, açılan imtihanı kazanarak tabur imamı oldu. Çeşitli yerlerde tabur imamlığı yapan Muharrem Hilmi, Bitlis'te Muhammed Küfrevî'nin sohbetlerinde bulunarak ondan icazet aldı. Sonra Yemen'e gönderildi. Yemen'de tabur imamlığı yanında, Yemenli çocuklara Türkçe öğretmenliği de yaptı ve iki sene kadar kaldı.
Muharrem Hilmi Efendi Yemen'deyken yağmur yağmıyordu. Yağmur duasına çıktılarsa da bir damla bile düşmedi. Taburun komutanı Muharrem Hilmi Efendiyi huzuruna çağırarak; “Sen iyi bir adamsın. Bir de senin yağmur duasına çıkmanı istiyorum.” deyince, Muharrem Hilmi Efendi; “Olur Komutanım! Yalnız Allahü tealanın huzuruna hep dost olarak çıkmalıyız. Askeri silahtan tecrit edeceksiniz.” dedi. Komutan; “Olur mu? Bizi vururlar.” deyince; “Onu bana bırakınız.” dedi. Yemen Şerifinin huzuruna çıkıp, vaziyetini anlattı. Namaza silahsız çıkacaklarını, şayet yerli halktan askere bir saldırı olursa, Resulullah Efendimizin huzurunda kendisinin yakasını tutacağını söyledi. Yemen Şerifi, yerlilerden askere bir kötülük gelmeyeceği hususunda teminat verdi.
Muharrem Efendi, Evlad-ı Resulden olan şerifin oğlunu da beraberine alarak namazgaha çıktı. Önce Araplara ve Türklere kendi lisanlarında öğütler verdikten sonra, Allahü tealaya, Evlad-ı Resul olan bu çocuk yüzü suyu hürmetine yağmur yağdırması için yalvardı. Dua bitmeden Allahü tealanın izni ile bardaktan boşanırcasına yağmur yağmaya başladı. Bu duayı üç gün tekrarladı ve yağmur üç gün yağdı.
Muharrem Hilmi Efendi Yemen'den döndükten sonra Mekke ve Medine'ye tayin edildi. Sonra Erzurum'a döndü ve Birinci Dünya Harbine iştirak etti. Aynı zamanda ilim tahsilini de bırakmadı. 1344 (m. 1925)'te emekliye ayrılarak doğum yeri olan Elazığ'a döndü. Bundan sonra kendini tamamen ilme verdi ve pek evinden dışarı çıkmaz oldu.
Muharrem Hilmi Efendi, riyadan çok sakınırdı. Nafile ibadetlerini gizlerdi. Çok mütevazi olup, kapısına gelen talebeyi geri çevirmezdi. Yazdığı Tasavvufî şiirlerinde Sırri mahlasın kullanırdı. Ömrünün sonlarında dört-beş ay hasta yattı. Halinden hiç şikayet etmezdi. Sorulduğu zaman; “El hamdülillah iyiyim, hiçbir şeyim yok, dolaşıp ne yapacağım? Yatmak hoşuma gidiyor, yatıyorum işte.” dedi ve; “Dünya leşdir, onu isteyenler köpeklerdir. Her gün bir melek; “Doğun ki ölesiniz, yapın ki yıkılsın, der.” manasında Arapça bir şiir okurdu.
Muharrem Hilmi Efendinin yazdığı eserlerden bazıları şunlardır: 1- Divan, 2- Mev'ize-i Hilmiyye, 3- Divan-ı Hüdayi, 4- Menazilü's-Salikin, 5- Makamat-ı Ezkar-i İlahiyye Lisaliki't-Tarikati'l-Kadiriyye.