Kars’ın Merkez ilçesine bağlı Kaleiçi Mahallesi’nin sınırları içinde bulunan Evliya Cami, ismini gerçek adı Ali Bin Ahmed Cafer olan bir Ebul Hasan-ı Harakani alıyor. M.S. 963-1033 yılları arasında yaşamış olan Ali Bin Ahmed Cafer, günümüzde İran’ın Horasan bölgesinde bulunan Harakan Köyü’nde dünyaya gelmiş. Çocukluk yaşları çobanlık yaparak geçmiş. İlerleyen süreçte de çiftçilikle ve kervanlara yük taşımakla geçimini sağlamış. Bu dönemde, kendisinden yaklaşık yüz yıl önce Horasan’da yaşamış olan Beyazid-i Bestami’nin tasavvuf öğretilerinden etkilenmiş. Bunun üzerine Bestami dergahına girerek burada bir süre türbedarlık görevini üstlenmiş.
Zaman içinde kendi çağının en önemli manevi şahsiyetlerinden biri olarak görülmeye başlanan Bul Hasan-ı Harakani, 1033 yılında Kars’ın merkezine yaklaşık 15 kilometre uzaklıkta bulunan Yahnı Dağı’nın eteklerinde Bizans ordusuyla savaşırken şehit düşmüş. Şehit olan ilk Anadolu evliyalarından biri olması sebebiyle, 1064 yılında onun adına Kaleiçi’ne bir türbe yaptırılmış. Ancak Ebul Hasan-ı Harakani Türbesi'nin varlığı halk tarafından Orta Çağ’ın sonlarına doğru unutulmaya başlamış. Öte yandan, bu dönemde Doğu Anadolu’da gerçekleşen savaşlar ve siyasi mücadeleler de bu bölgede siyasi istikrarsızlıklar yaşanmasına yol açmış.
Padişah III. Murat 1579 yılında hem bölgedeki siyasi istikrarsızlığı sonlandırmak hem de düzen sağlamak için Lala Mustafa Paşa komutasındaki 100 bin Osmanlı askerini Kars’a göndermiş. Burada Kars’ın eyalet merkezi haline gelmesi için başlatılan imar çalışmaları sırasında, Evliya Cami de inşa edilmiş. Böylece türbe de Evliya Cami’nin bahçesine nakledilmiş. 1998 yılında camide başlatılan restorasyon çalışmalarında, türbenin örgü duvarları kaldırılmış ve kubbeli bir şadırvanın içine aktarılmış. Mezar sandukasının etrafı da ahşap çerçeveyle kapatılmış. Bu çalışmanın ardından Evliyanın türbesi halkın ziyaretine de açılmış.
