Rekam jejaknya membawa dia masuk Ibu Kota Jakarta. Syarifuddin lantas dipercaya sebagai hakim di PN Jakarta Selatan. Hanya berselang dua tahun, ia mendapat promosi sebagai Wakil Ketua PN Bandung periode 2005-2006 dan kemudian menjadi Ketua PN Bandung pada 2006.
Kariernya terus meroket. Syarifuddin pun ditunjuk sebagai hakim tinggi pada Pengadilan Tinggi Palembang. Bahkan dia pun senpat enam tahun menjabat sebagai Kepala Badan Pengawasan (Bawas) MA. Syarifuddin juga pernah dipercaya sebagai Pelaksana Tugas Kepala Badan Litbang Diklat Kumdil MA ketika masih menjabat Kepala Bawas MA.
Tahun 2013 menjadi salah satu tonggak penting dalam sejarah karier Syarifuddin. Komisi III DPR menetapkannya menjadi hakim agung bersama tujuh kolega lainnya pada 23 Januari 2013. Ketua MA pun melantik doktor lulusan Universitas Parahiyangan ini menjadi hakim agung pada 11 Maret 2013.
Dua tahun berselang, 28 Mei 2015, Doktor Hukum jebolan Universitas Parahyangan, Bandung ini diangkat sebagai Ketua kamar Pengawasan MA.
Kemudian pada 2016 ditetapkan sebagai Wakil Ketua MA bidang Yudisial setelah dipilih oleh mayoritas hakim agung pada 14 April 2016.
Di luar karier hakim, saat ini ia juga menjadi Ketua Ikatan Alumni UII Yogyakarta, menggantikan Mahfud MD. Ketua MA Syafrudin disebut punya track record berwibawa yang tidak ragu menggunakan kewenangan yang diberikan undang-undang sebagai penyeimbang sekaligus pelindung hak-hak warga negara, termasuk ketika harus berhadapan dengan lembaga negara lainnya.
Syarifuddin terpilih sebagai Ketua MA pada Senin, 6 April 2020 di ruang Kusumah Atmadja. Proses pemilihan dilakukan secara terbuka dan transparan oleh 46 Hakim Agung yang hadir.
Publik diberikan akses untuk melihat dan memantau proses pemilihan Ketua MA yang baru melalui live streaming di akun Youtube Mahkamah Agung. Pemilihan dua putaran Pemilihan Ketua MA bermulai sekitar pukul 10.00 WIB dipimpin langsung oleh Hatta Ali.
Ada enam hakim agung yang maju sebagai calon Ketua MA. Setelah melalui pemungutan suara yang demokratis, M Syarifuddin meraih 22 suara dukungan suara, Andi Samsan Nganro 14 suara, Sunarto 5 suara, Amran Suadi satu suara, Supandi satu suara dan Suhadi satu suara. Sedangkan abstain sebanyak dua suara.
Meskipun memiliki suara terbanyak Syarifuddin tidak serta merta langsung terpilih sebagai Ketua MA. Karena dari enam calon yang mendapat suara tidak ada yang mendapatkan jumlah suara sebesar 50 persen ditambah satu suara, maka pemilihan dilakukan kembali pada putaran kedua.
Peserta putaran kedua, hanyalah hakim yang memiliki suara terbanyak pertama dan kedua, yakni Syarifuddin dan Andi Samsan Nganro. Hasilnya, di putaran kedua Syarifuddin masih unggul dari Andi dengan perolehan suara 32. Sedangkan Andi mendapatkan 14 suara.
