Bistâm’ın kuzeyindeki Harakan köyünde çiftçi bir ailenin çocuğu olarak dünyaya gelmiştir. Onuncu yüzyılda doğup 11. yüzyılda irtihal ettiği tahmin edilmektedir. Kaynaklarda ümmî olduğu, Bâyezîd-i Bistâmî Hazretleri’nin mânevî bir işareti üzerine Kur’an okumaya başladığı kaydedilmektedir. Mevlânâ Celâleddîn-i Rûmî’nin naklettiği bir menkıbeye göre Bâyezîd-i Bistâmî Hazretleri Harakan’dan büyük bir velî çıkacağını önceden haber vermiştir.
Abdülkerîm el-Kuşeyrî’nin, “Harakan’a gittiğimde Ebu’l-Hasan’ın heybeti ve haşmeti bana o kadar tesir etti ki dilim tutuldu” (Tezkiretü’l-evliyâ, s. 676) dediği nakledilir. Nakşibendiyye silsilesinde önemli bir yer verilen ve Üveysîliği üzerinde özellikle durulan Harakanî Hazretleri Aynülkudât el-Hemedânî, Necmeddîn-i Dâye, Attâr, Mevlânâ Celâleddîn-i Rûmî gibi büyük isimleri derinden etkilemiş, 10 Muharrem 425 (5 Aralık 1033) tarihinde vuku bulan ölümünden sonra da etkisi uzun süre devam etmiştir.
Evliya Çelebi, Kars Kalesi’nin III. Murad devrinde Lala Mustafa Paşa tarafından tamir edildiğini anlatırken bir askerin paşaya aktardığı rüyasını nakleder. Buna göre asker paşaya, rüyasında gördüğü yaşlı bir zatın kendisinin Ebu’l-Hasan el-Harakānî olduğunu ve makamının burada bulunduğunu söylediğini, kendisinden ayağını bastığı yeri kazmasını istediğini anlatmış, bunun üzerine 100 işçi yeri kazmaya başlamış ve üzerinde, “Menem şehîd ü saîd Harakānî” ibaresi yazılı dört köşe bir somaki mermer bulunmuştur. Gaziler mermeri tekbir ve tevhidle kaldırınca kabir ortaya çıkmıştır. Yaralı pazusuna sarılı makrame ile sırtındaki hırkasının bile henüz çürümediği görülmüş; vücudunun sağ tarafındaki yarası hâlâ kanamakta imiş. Gaziler yine tekbirle kabri kapamışlar. Kalenin içine ilk olarak Lala Mustafa Paşa tarafından Ebu’l-Hasan el-Harakānî adına bir tekke ile bir cami inşa ettirilmiştir (Seyahatnâme, II, 330).