Muhammad Munawwir lahir Kauman, Yogyakarta. Putra pasangan K.H. Abdoellah Rosjad dan Nyai Khodijah. Atas beasiswa dari Sultan Hamengku Buwono VII, ia belajar di Makkah dan Madinah selama kurang lebih 20 tahun. Sebelumnya Moenawwir sempat belajar pada kiai-kiai di Jawa dan Madura seperti K.H. Abdullah (Bantul), K.H. Kholil (Bangkalan, Madura), K.H. Sholih (Ndarat, Semarang), dan K.H. Abdurrahman (Watucongol, Muntilan).
Di Kota Madinah tepatnya, ia berhasil menghafal 30 juz Al-Quran dengan qiraah sab’ah (bacaan tujuh). Kesuksesan tersebut sekaligus menjadikannya tercatat sebagai ulama pertama Jawa yang berhasil menguasai qiraah sab’ah.
Sepulangnya di tanah air pada 1909, cucu Kiai Haji Hasan Bashari (Kasan Besari, ajudan sekaligus komandan pasukan Pangeran Diponegoro) ini, merupakan bagian dari Kaji Selusin dan menempuh jalan sunyi pengajaran Al-Quran. Mulanya, ia hanya mengajarkan Al-Quran di langgar kecil miliknya, yang kini menjadi gedung Nasyiatul Aisyiyah Yogyakarta. Namun atas bantuan kakeknya, jalan pengajarannya berubah.
Kiai Munawwir kemudian pindah ke Gading, tinggal bersama kakaknya, K.H. Mudzakkir. Namun karena berbagai sebab, juga atas saran dari K.H. Sa’id (Pengasuh Pesantren Gedongan, Cirebon), pada 1910, bergeser ke selatan, yakni di Krapyak dan menempati tanah milik Bapak Jopanggung yang dibeli dengan uang amal dari Haji Ali.
Secara resmi, Pondok Pesantren Krapyak didirikan pada 15 November 1911 dan mulai menerima santri dari berbagai daerah untuk belajar Al-Quran. Kini, dapat dikatakan, pesantren-pesantren besar tahfidz Al-Quran di Indonesia bermuara kepada Kiai Munawwir.
Pada mulanya, pesantren ini hanya mengajarkan Al-Quran, namun kemudian berkembang dengan pembelajaran fikih, tafsir, dan lain sebagainya. Setelah 33 tahun mengajarkan Al-Quran di pesantrennya, Kiai Munawwir wafat pada 6 Juni 1942. Pesantren Krapyak kemudian diasuh oleh putra serta menantunya, dan pada tahun 1947 berubah nama menjadi Pondok Pesantren Al Munawwir Krapyak.
Memilih jalan pengajaran dan menyepi dari riuh pergerakan, peran Kiai Moenawwir dapat ditelusuri melalui murid-muridnya. Di antaranya melalui keponakannya, yaitu Prof. Abdul Kahar Mudzakkir, rektor pertama Universitas Islam Indonesia, tokoh Muhammadiyah, dan seorang Pahlawan Nasional Indonesia).