Masyumi pada awalnya didirikan 24 Oktober 1943 sebagai pengganti MIAI (Madjlisul Islamil A’laa Indonesia). Alasannya karena Jepang memerlukan suatu badan untuk menggalang dukungan masyarakat Indonesia melalui lembaga agama Islam. Namun Jepang tidak tertarik partai-partai Islam yang ada pada zaman Belanda yang kebanyakan berlokasi di perkotaan, dan berpola pikir modern. Hal ini menyebabkan pada minggu-minggu pertama Jepang di Indonesia, Jepang telah melarang Partai Sarekat Islam Indonesia (PSII) dan Partai Islam Indonesia (PII).
Selain itu Jepang juga berusaha memisahkan golongan cendekiawan Islam di perkotaan dengan para kyai di pedesaan. Hal ini dikarenakan, para kyai di pedesaan memainkan peranan lebih penting bagi Jepang karena dapat menggerakkan masyarakat untuk mendukung Perang Pasifik, sebagai buruh maupun tentara. Setelah gagal mendapatkan dukungan dari kalangan nasionalis di dalam Putera (Pusat Tenaga Rakyat), akhirnya Jepang mendirikan Masyumi.
Masyumi pada zaman pendudukan Jepang belum menjadi partai namun merupakan federasi dari empat organisasi Islam yang diizinkan pada masa itu, yaitu Nahdlatul Ulama (NU), Muhammadiyah, Persatuan Umat Islam, dan Persatuan Umat Islam Indonesia.
Masyumi berubah menjadi partai pada 8 November 1945. Setelah menjadi partai, Masyumi mendirikan surat kabar harian Abadi pada tahun 1947. Pada tahun 1958, beberapa anggota Masyumi bergabung dengan pemberontakan PRRI terhadap Soekarno. Sebagai hasilnya, pada tahun 1960 Masyumi bersama dengan Partai Sosialis Indonesia dilarang. Masyumi akhirnya dibubarkan pada tanggal 15 Agustus 1960.
Setelah dilarang/dibubarkan, anggota serta pengikut Masyumi mendirikan Keluarga Bulan Bintang yang tujuannya mengampanyekan Hukum syariah dan ajarannya. Mereka mencoba membangkitan Masyumi pada saat transisi Orde Lama dengan Orde Baru, namun tidak diizinkan.
Setelah Soeharto jatuh pada 1998, upaya membangkitkan partai ini kembali dilakukan, tetapi mereka mendirikan partai dengan nama Partai Bulan Bintang.
