MTs Negeri 24 yang berada di Jl. Marzuki VII Penggilingan, Cakung, Jakarta Timur didirikan pada tahun 1994 oleh Kanwil Kementerian Agama Provinsi DKI Jakarta. Saat itu MTsN 24 masih menjadi kelas jauh dari MTsN 7 Ciracas Jakarta Timur dengan pimpinan lokasi (pinlok) bapak H. Muhamad Shaleh Subagyo, S. Ag. (almarhum).

Madrasah ini baru mandiri pada tahun 1998 dengan nama MTs Negeri 24 Jakarta dengan Kepala Madrasahnya yang pertama Drs. H. Wahidin. Adapun daftar nama-nama Kepala Madrasah selengkapnya adalah sebagai berikut :

1. Drs. H. Wahidin                                (1998 – 2003 )
2. Drs. H. Mushadiq Noor                  (2003 – 2009)
3. Drs. H. Suhairi, M. Pd.                    (2009 – 2009)
4. Drs. H. Muhadjirin, M. Pd.              (2009 – 2012)
5. Drs. H. Djunaidi  AN                       (2012 – 2014)
6. Dra. Mulyaningsih, M. Pd.              (2014 – 2020)
7. Drs. Asifudin, M. Pd. I                     (2020 – Sekarang)

MTsN 24 Jakarta menempati area tanah seluas 4. 975 m². Dalam perkembangannya, MTsN 24 membuka kelas jauh di daerah kelurahan Rawabadung pada tahun 2005 dan pada 2007 didirikan asrama yang diberi nama Islamic Boarding School (IBS) di atas tanah seluas 5000 m². Madrasah ini mandiri menjadi MTsN 31 pada tahun 2009. Bersamaan dengan ini kembali dibuka kelas jauh di daerah kelurahan Pondok Kopi di atas tanah seluas 7. 125 m². Di sini kemudian juga didirikan dua asrama pesantren yang diberi nama “Ma’had Tarbiyah Islamiyah MTsN 24 Jakarta”. Gedung asrama didirikan pada tahun 2015  dan gedung asrama kedua didirikan pada pertengahan tahun 2020 dengan dana SBSN. Gedung asrama-2 diresmikan menteri agama Yaqut Cholil Qoumas pada Februari 2021.

Jumlah ruang kelas gedung A saat ini sebanyak 16 kelas dengan rincian kelas 7 ada 5 kelas, kelas 8 ada 5 kelas, dan kelas 9 sebanyak 6 kelas. Ruang lain terdapat 1 ruang Kepala Madrasah, ruang wakil kepala madrasah, ruang PTSP dan tata usaha, ruang guru, ruang perpustakaan, masjid, ruang lab bahasa, UKS, lab computer, lab IPA,  ruang OSIS, ruang BK, ruang multimedia, kantin,  gudang, dan pos Satpam..

Sedangkan gedung B memiliki ruang kelas sebanyak 15 kelas. Masing-masing kelas 7, 8, dan 9 ada 5 kelas. Selain itu ada ruang Kepala Madrasah, ruang Wakil Kepala Madrasah, ruang PTSP dan Tata Usaha, ruang guru, perpustakaan, UKS, kantin, aula, dua gedung asrama santri, gudang, dan pos Satpam.

Jumlah pengajar di MTsN 24 seluruhnya ada 56 guru. Adapun rinciannya adalah guru PNS laki-laki ada 12 orang, guru PNS perempuan ada 28 orang, guru honorer laki-laki ada 9 orang, dan guru honorer perempuan ada 7 orang. Jumlah pegawai TU seluruhnya ada 49 orang. Adapun rinciannya adalah TU PNS laki-laki ada 5 orang, TU PNS perempuan ada 4 orang, TU honorer laki-laki ada 30 orang, dan TU honorer perempuan ada 10 orang. Dengan demikian jumlah guru dan pegawai seluruhnya ada 105 orang.

Adapun jumlah siswa seluruhnya ada 967 orang, baik yang berada di gedung A, gedung B, dan yang mukim di ma’had.

Berbagai prestasi telah disumbangkan murid-murid, baik di bidang akademik dan non akademik. Prestasi akademik diraih melalui berbagai perlombaan dan diterima di berbagai sekolah lanjutan pilihan seperti MAN IC Serpong, Gorontalo, dan Pekalongan. Ada pula yang diterima di MAN, SMAN, SMKN pilihan di Jakarta.