نشأت جمعية علماء ماليزيا نتيجة وعي العلماء وتطلعاتهم المشتركة خلال مشاركتهم في المؤتمر الاقتصادي الإسلامي عام 1972.
ونظم عدد من كبار العلماء والمفكرين المشاركين في المؤتمر اجتماعاً لمناقشة تأسيس الجمعية، وذلك في 22 صفر 1392هـ الموافق 8 أبريل 1972، في قاعة الملك فيصل بمعهد التربية الإسلامي، المعروف حالياً بمركز الدراسات التأسيسية للجامعة الإسلامية العالمية، في بيتالينغ جايا بولاية سيلانغور.
وعقب الاجتماع وُضعت خطة تأسيس جمعية علماء ماليزيا. وعُيّن المرحوم الأستاذ تان سري أحمد إبراهيم مستشاراً للجنة التأسيسية، والمرحوم الحاج نك محمد محيي الدين حاج موسى رئيساً لها، والدكتور محمد زين عثمان نائباً للرئيس، وداتو الحاج محمد نخعي حاج أحمد أميناً، وسيد هارون سيد عبد الرحمن الحبشي أميناً للصندوق. وضمّت اللجنة كذلك داتوك الحاج غزالي عبد الله والحاج أرشد مسجوري.
وبعد عامين، أي في عام 1974، تأسست الجمعية رسمياً خلال أول اجتماع عام خاص عُقد في الكلية الإسلامية بمدينة كلانغ في سيلانغور. وأُقرّ مشروع الدستور في ذلك الاجتماع. كما نُظمت ندوة حول التربية الإسلامية ودور العلماء بمناسبة تأسيس الجمعية، بمشاركة شخصيات إسلامية ومفتي الولايات.
وانتخب الاجتماع العام الأول المرحوم الحاج نك محيي الدين موسى أول رئيس لجمعية علماء ماليزيا.