Mehmet Ruhi Su, 1912 yılında Van'da Ermeni bir ailenin mensubu olarak doğdu ve ailesini 1915'te kaybetti. Çocukluğunun geri kalan yıllarını, kendisini bir Müslüman olarak yetiştiren yoksul bir ailenin yanında ve daha sonra da öksüzler yurdunda geçirdi. 1927 yılında Kuleli Askeri Lisesi'ne girdi. 1931 yılında burayı bitirdi fakat Harp Okulu'na devam etmedi. Adana Öğretmen Okulu'nda okurken, Ankara'ya Müzik Öğretmen Okulu'na (Musiki Muallim Mektebi) girmeyi başardı. 1942'de Ankara Devlet Konservatuarı'nın Şan Bölümü'nü bitirdi. Aynı yıllarda sırasıyla Ankara Cebeci İkinci Ortaokulu'nda, sonra Hasanoğlan Köy Enstitüsü'nde müzik öğretmenliği yaptı. Cumhurbaşkanlığı Orkestrası'na seçildi, konservetuarın opera bölümünde okudu ve daha sonra da Devlet Operası'nda çalıştı. Devlet Operası sanatçısı olarak, Bastien und Bastienne, Satılmış Nişanlı, Madame Butterfly, Fidelio, Tosca, Yarasa Opereti, Aşk İksiri, Rigoletto, Figaro'nun Düğünü, Maskeli Balo ve Konsolos gibi operalarda rol aldı. Türk Opera Sanatı'nın temelinde Ruhi Su'nun katkısı büyüktür.
Ankara Radyosu'nda onbeş günde bir yayınlanan türkü programları düzenledi; Dil ve Tarih Coğrafya Fakültesi'nde büyük bir koro oluşturdu. Aldığı klasik batı müziği eğitimi, ömrü boyunca kendini adadığı türkülerin yorum ve icrasına yaklaşımının kurumsal temelini oluşturdu.
Ruhi Su, sosyalist dünya görüşü nedeniyle 1952-1957 yılları arasında 1951 TKP tevkifatı dolayısı ile hapis yattı. 1960'ta İstanbul'da Taksim Belediye Gazinosu'nda sahneye çıkan Ruhi Su, bir yandan da halk türkülerini kaydedip, arşivleme görevini üstlendi. Bu arada radyoda da 'Basbariton Ruhi Su Türküler Söylüyor' anonsuyla sunulan bir radyo programı yaptı. Bu programlardan birinde söylediği "Serdari Halimiz Böyle N'olacak? Kısa çöp uzundan hakkın alacak" türküsü nedeniyle radyodaki işine son verildi.
Söylediği türkülerdeki siyasi vurgular yüzünden aleyhinde kampanyalar başlatılan ve işini kaybeden sanatçı, türküleri derleyip, yeniden yorumlama işine kendi başına devam etti. 1975'te Sümeyra Çakır'la birlikte Dostlar Korosu'nu kurdu. 1978'den sonra ürettiği kasetlerle halk müziğinin, yaygınlaşmasına büyük katkıda bulundu. Aydınlara türkü dinlemeyi öğreten kişi olarak da bilinir. Ruhi Su, 12 Eylül yönetiminin engellemeleri yüzünden yurtdışında tedavi şansı bulamadı ve 20 Eylül 1985'te öldü. Mezarı İstanbul Zincirlikuyu'dadır. Ruhi Su'nun cenaze törenine binlerce kişi katıldı ve cenaze 12 Eylül döneminin ilk büyük kitle gösterisi haline dönüştü. Naaşı Şişli Camii'nden itibaren kitlenin omuzlarına alınarak, türküler ve sloganlar eşliğinde yürüyüşe geçildi. Kitlenin önü İETT garajı önünde o dönemin Terörle Mücadele Şube Müdür ve Asayişten Sorumlu Emn.Md.Yrdcısı Mehmet Ağar yönetimindeki polis tarafından kesildi. Kitle, uyarıları dinlemeyip zayıf polis barikatını aşarak yürüyüşüne devam etti. Kalabalık, Mecidiyeköy'den katılımlarla birlikte on binlere ulaştı. Cenaze yürüyüşü sırasında ve mezarlıkta gözaltına alınan 163 kişi İstanbul siyasi şubede ve 1. Ordu Cankurtaran Trafik İnzibat Bölüğüne ait eski bir binada 15 gün süreyle gözaltında tutuldu. Sıkıyönetim Komutanlığı'nın kararıyle serbest bırakıldılar.
Kendisi Alevi Deyişlerini okumuş, Pir Sultan'ın, Hatayi'nin ve diğer ozanların deyişlerini yorumlamıştır. Nazım Hikmet'in şiirlerini ilk besteleyenlerdendir. 1957'de hapisteyken söylediği Mahsusmahal adlı türküsüyle ünlendi.
Ruhi Su'nun sesini korumadaki hassasiyeti hakkında pek çok anlatı vardır. Bunlara göre Ruhi Su, sesine zarar vermemek için kuruyemiş ve çamaşır suyundan uzak dururmuş. Sorulduğunda, sesini korumadaki bu hassasiyetinin sanata ve dinleyenlere saygısından kaynaklandığını ifade edermiş.
Ruhi Su, ölümüne kadar 16 tane 45'lik plak, 11 uzunçalar çıkardı. Ölümünden sonra kurulan Ruhi Su Kültür ve Sanat Vakfı aracılığıyla eşi Sıdıka Su (ölüm 18 Ekim 2006) ve oğlu Ilgın Su özel arşivlerdeki ses kayıtlarından yararlanarak plak, kaset ve CD üretimini sürdürdüler. Vakfın merkezi Beyoğlu, İstanbul'dadır.
Sanatçı hakkında Ajans21 tarafından, Ezgili Yurek: Ruhi Su 1995 (24 dk) adında bir belgesel hazırlanmıştır. Bu belgesel Ruhi SU hakkında hazırlanan ilk belgeseldir. Bunun dışında Avusturya Belgeseli ve Ruhi Su Belgeseli (Hilmi Etikan) adlarında iki belgesel film de Ruhi Su Kültür ve Sanat Vakfı aracılığıyla gösterilmektedir.