Berawal dari sebuah mesjid yang dibangun pada tahun 1986. Mesjid ini diberi nama Masjid Al-Amin. Di Masjid tersebut, diadakan pengajian untuk anak-anak usia sekolah dasar setiap ba’da maghrib. Materinya adalah baca tulis Al-Qur’an.

Hari demi hari, semakin bertambahlah anak-anak yang ikut mengaji. Hingga bermusyawarahlah para orangtua beserta pengurus Masjid. Hasil kesepakatan musyawarah pada saat itu, didirikanlah sebuah lembaga pendidikan agama untuk pemula yaitu Madrasah Diniyah. Di awal pembelajaran, santri belajar di teras masjid dan ruang tamu rumah H. Ukar Sukarya  sebagai pimpinan pesantren yang rumahnya berada di samping masjid Al-Amin.