Etkileyici mimarisi ve asırlar öncesine uzanan tarihi geçmişi ile Kümbet Cami, Kars’ın Merkez ilçesine bağlı Kaleiçi Mahallesi sınırları içinde yer alıyor. Kentin en dikkat ve ilgi çekici tarihi yapılarından biri olan bu cami, oldukça karışık bir tarihi geçmişe sahip. Bu yapı, aslında M.S. 932-937 yılları arasında Bagratlı Krallığı döneminde inşa edilmiş. İnşa emrini Kral Abbas vermiş. Kentin en önemli Ermeni kiliselerinden biri olarak görülen yapı, Kars Kalesi’nin güney eteğinde bulunuyor. Merkezi planları inşa edilmiş olan kilisenin, formu açısından dört yonca yaprağını andıran nişlerle genişleyen dik açılı bir mekanı mevcut. Yapı, inşa edildiği dönemde Havariler Kilisesi ya da On İki Havari Kilisesi isimleriyle anılıyormuş.
1064 yılında bu bölge Müslüman hakimiyetine girince Havariler Kilisesi de camiye dönüştürülerek Kümbet Cami olarak adlandırılmış. Kars’ta Rus egemenliği başlayınca, yapı da Rus Ortodoks Kilisesi’ne çevrilmiş. 1918 yılında bölgenin tekrar Türk hakimiyetine geçmesiyle, tekrar cami işlevi kazanmış. 1964 yılında ise Kars ve çevresinde yapılan kazılardan ele geçirilen eserlerin sergilenebilmesi amacıyla bir müze kurulması ihtiyacı doğmuş. Bunun üzerine Kümbet Cami Kars Müzesi’ne dönüştürülmüş ve bu işlevini 1981 yılına dek korumuş.
1981 yılından sonra Kars Müzesi günümüzdeki yerine taşınınca, Kümbet Cami de bir süreliğine boş kalmış. 1993 yılında yeniden ve son kez camiye dönüştürülmüş. Günümüzde de hâlen cami olarak kullanılıyor. Hem tasarımı hem de köklü tarihçesi sebebiyle, “Doğu’nun Ayasofya’sı” unvanıyla da nitelendirilebiliyor.