1904 yılında "Askeri Tıbbiye" okulunu, yüzbaşı rütbesiyle bitirerek doktor olan Mazhar Osman, "Gülhane Askeri Hastanesi Akliye Servisi"nde öğretmen yardımcılığına başladı. 1908 yılında Berlin ve Münih'e giderek nöroloji ve psikoloji dallarında uzmanlık eğitimi aldı. Tekrar Gülhane'ye dönen Usman, 1914'te Haseki'deki Akıl Hastalıkları Müşahedehanesi başhekimi ve müdürü oldu.

Daha sonra Haydarpaşa Askeri Hastanesi akliye ve asabiye mütehassıslığına getirildi. 1927 yılında Bakırköy'de Ruh ve Sinir Hastalıkları Hastanesi'ni kurarak uzun süre başhekimliğinde bulundu. 1933'te İstanbul Üniversitesi psikiyatri Kliniğine ordinaryus profesör atandı. 1941'de başhekimlik görevini bıraktı ve emekliye ayrıldığı 1952'ye kadar öğretim üyesi olarak çalışmalarını sürdürdü.

Türk Nöro-psikiyatri Cemiyeti'nin yanı sıra; "İçki İle Mücadele Cemiyeti" gibi sağlık derneklerinin kurucusu olan Usman Sinir Hastalıkları (1935-1936, 2 cilt), Keyif Veren Zehirler (1934) gibi çeşitli mesleki eserler yazdı. Hamburg Akıl Hastalıkları Derneği, Fransız Nöroloji Derneği, New York Nöroloji Akademisi gibi yurtdışı sağlık kuruluşlarının onur üyeliklerine seçildi. Türkiye'de ilk kez Seroloji, nöro-patoloji, deneysel psikoloji laboratuarları oluşturulmasında önemli rol oynadı.

Bakırköy Ruh ve Sinir Hastalıkları Hastanesi, bir dönem "Mazhar Osman Hastanesi" adıyla anılmıştır.