Penubuhan PUM adalah lahir dari kesedaran para ulama’ yang menyertai Kongres Ekonomi Islam pada tahun 1972. Satu perjumpaan untuk membincangkan penubuhannya telah diatur oleh beberapa orang tokoh ulama’ dan ilmuan yang menyertai kongres tersebut iaitu pada 22 Safar 1392 bersamaan 8 April 1972 bertempat di Dewan Al-Malik Faisal MPI (kini Pusat Matrikulasi UIA) Petaling Jaya, Selangor Darul Ehsan.
Hasil perbincangan itu maka rancangan penubuhan Persatuan Ulama’ Malaysia di atur dimana Allahyarham Prof. Tan Sri Ahmad Ibrahim telah dilantik sebagai Penasihat Jawatankuasa Penaja, sementara Pengerusi Penaja ialah Allahyarham Haji Nik Muhd Muhyiddin Haji Musa dan Timbalan Pengerusi Penaja ialah Dr. Mohd Zin Othman.Manakala Setiausaha Penaja ialah Dato’ Haji. Mohd Nakhaie Haji Ahmad, sementara Bendaharinya ialah Syed Harun Syed Abd. Rahman Al-Habsyi. Ahli-ahli Jawatankuasa Penaja lainnya terdiri dari Datuk Hj. Ghazali Abdullah dan Tuan. Hj. Arshad Masjuri.
Dua tahun kemudian, iaitu pada tahun 1974, PUM telah ditubuhkan secara rasmi dalam satu mesyuarat agung khas pertama yang diadakan di Kolej Islam Kelang, Selangor Darul Ehsan. Draf perlembagaan telah diluluskan di dalam mesyuarat tersebut. Bersempena penubuhan PUM itu telah diadakan seminar mengenai pendidikan Islam serta peranan ulama’ yang dihadiri oleh tokoh Islam dan mufti-mufti. Mesyuarat Agung pertama PUM ini telah memilih Allahyarham Hj. Nik Muhyiddin Musa sebagai Yang Dipertua PUM pertama.