Bozcaada’nın merkezi iki farklı mahalleye ayrılıyor. Bunlardan bir tanesi geçmişte Rum Mahallesi olarak anılan Cumhuriyet Mahallesi. Diğeri de geçmişte Türk Mahallesi olarak anılan Alaybey Mahallesi. Adanın ünlü Alaybey Cami’si de ismini, içinde bulunduğu mahalleden alıyor. Caminin tam olarak hangi yılda inşa edildiği hâlen belirsiz. Ancak yapılan araştırmalardan elde edilen sonuçlar, 1700’lü yıllarda inşa ettirildiğini işaret ediyor. Tahminlere göre, bu değerli yapı, Ali Ağa Camii’nin tahrip olması nedeniyle Kale Kumandanı Miralay Ahmet Ağa tarafından yeniden inşa ettirilmiş. Hatta caminin isminin miralay, yani albay sözcüğünden geldiği de söyleniyor.
Günümüzde de ibadete açık olan Bozcaada Alaybey Cami, kırmızı kesme taş kullanarak inşa edilmiş. Caminin kuzey cephesinde kalan girişinde çift kanatlı ve basık kemerli büyük bir ahşap kapı bulunuyor. Bu kapıya beş taş basamak tırmanılarak ulaşılıyor. Caminin minaresi ise kuzeybatı tarafında. Beyaz kesme taştan inşa edilen minareye, oyma şeref korkulukları ve stalaktitli şerefe altı eşlik ediyor. Alaybey Cami’nin içine girdiğinizde barok tarzında motiflerle bezeli pencere üstleriyle karşılaşıyorsunuz. Mihrap ve minber son derece sade bir görünüme sahip. Giriş kapısının her iki yanından yukarı doğru uzanan ahşap merdivenler, ziyaretçileri kadınlar mahfiline götürüyor. Caminin avlusunda küçük bir hazire var. Toplamda on dört farklı mezarı içinde barındıran bu alan, Osmanlı Sadrazamı Halil Hamit Paşa’nın mezarına da ev sahipliği yapıyor.