1961 yılında Bolu'da doğdu. 1982 yılında İstanbul Üniversitesi Hukuk Fakültesinden mezun oldu. 1987 yılında Amasya Hâkimliği, 1989 yılında Doğanhisar Hâkimliği, 1993 yılında Adalet Müfettişliği, 1998 yılında Adalet Başmüfettişliği görevlerini yerine getirdi. 2010-2014 yıllarında  Hâkimler Savcılar Kurulu Başmüfettişliği görevinde bulunan Mehmet Yılmaz 2014 tarihinde Hâkimler Savcılar Kurulu Üyeliğine seçildi. Halen Hakimler ve Savcılar Kurulu 2. Daire Başkanı ve Hakimler ve Savcılar Kurulu Başkan Vekili olarak görevini yerine getirmektedir.