1966 yılında Gaziantep'in Nizip ilçesinde doğdu. Aynı ilçede ortaöğrenim eğitimini tamamlamasının ardından İstanbul'a gelen Mustafa Yılmaz, 1984-1988 yılları arasında İstanbul Üniversitesi Hukuk Fakültesi'nde eğitimini tamamladı.

1989 yılında İstanbul'da serbest avukatlığa başladı. 1993-2004 yılları arasında enerji sektöründe avukat olarak çalıştı. 21 Şubat 2004 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararı ile EPDK Kurul Üyeliğine atanan Mustafa Yılmaz, 28 Ocak 2010 tarihinde EPDK İkinci Başkanı olarak görevlendirildi.

20 Şubat 2014 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararı ile EPDK Başkanı olarak atanan Yılmaz, görev süresinin bitimini müteakiben 1 Mart 2016 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararıyla da EPDK Başkanı olarak ikinci kez atandı.

İngilizce bilen Yılmaz, evli ve üç çocuk babasıdır.