15 Mart 1882 tarihinde Çeçenistan'ın Caharkala(Grozni) şehrinde doğdu. Soylu bir Çeçen ailesine mensuptur. Babası Ortsu Çermoy Rus ordusunda generaldi. Vladikafkas Lisesi'ni bitirdikten sonra, askeri öğrenimini, Rusya'nın ünlü askeri okulu "Nikolayevskoye Kavaleriysekol Noyennol Uçilişçe"de yaptı. Çar'ın muhafız alayında bir müddet görev yaptı. Petersburg'da yüksek bir sosyete hayatı yaşamasına rağmen, 1908'de ordudan istifa ederek memleketine döndü. Petrol işleriyle uğraşmaya başladı. Zekası ve teşebbüs kabiliyeti sayesinde petrol işlerini ilerletti. Grozni'de ve bütün Kafkasya'da bugünkü petrol tesisatının esas temellerini atanlardan biri oldu.

1917 ihtilalinden sonra Kuzey Kafkasya'daki devletleşme ve bağımsızlık çalışmalarının içinde yer aldı. 18 Eylül 1917'de Andi'de toplanan II. kurultay sonucunda oluşturulan Kuzey Kafkasya Milli Müessesan Meclisi Merkez İcra Komitesi Başkanlığı görevine getirildi.

11 Mayıs 1918 tarihinde ilan edilen "Kuzey Kafkasya Cumhuriyeti"nin ilk Cumhurbaşkanı oldu.

8 Haziran 1918'de, Osmanlı Hükümeti ile Dostluk ve İşbirliği Anlaşması imzalayan heyette yer aldı.

10 Aralık 1918 günü Terek Kazakları ile Kuzey Kafkasya Hükümeti arasında Terek Kazaklarının Kuzey Kafkasya birliğine dahil olduklarına dair bir anlaşma imzaladı.

Bu anlaşmayla, Kazaklarla süren kanlı mücadeleleri, milli menfaata uygun tarzda sonuçlandırma başarısında büyük pay sahibi oldu.

Paris Barış Konferası'na katılmak üzere 1919 baharında Fransa'ya giden Kuzey Kafkasya Cumhuriyeti başkanı Abdülmecid Çermoy bir daha ülkesini göremedi.

28 Ağustos 1937'de Lozan'da (İsviçre) vefat etti.