Panji kemudian hijrah ke Pandeglang, Banten, mengajar di Perguruan Matla'ul Anwar Menes. 

Di sana dia menikah dengan anak kiai perguruan tersebut pada 1970. 

Nama Panji Gumilang adalah pemberian dari kiai Banten itu.

Di kota itu pula Abu Toto, nama lainnya, terlibat aktif di Gerakan Pemuda Islam (GPI) dan menjadi Ketua Cabang Pandeglang. 

Enam bulan sebelum Sidang MPR 1978, dia dituduh terlibat peledakan bom molotov karena memprotes masuknya aliran kepercayaan ke dalam GBHN. 

Panji meringkuk di tahanan Pelaksana Khusus Daerah (Laksusda) Kopkamtib di Bandung.

Di masa inilah Panji disebut mulai terlibat gerakan NII. 

Eks Ketua Umum PP GPI Abdul Qadir Djaelani menyebutnya sebagai Ketua NII KW 9 Wilayah Banten. 

Namun Panji membantah hal ini.

Era 1980-an, pemerintah gencar melakukan penangkapan terhadap tokoh-tokoh Islam. 

Saat itu, Panji disebut kerap mengunjungi Adah Djaelani, bekas pemimpin NII, yang tengah mendekam di Penjara Cipinang Jakarta.

Pada 1982-1989, Panji pernah mendapat tugas dari M. Natsir, tokoh pendiri Masyumi, sebagai petugas Rabithah Alam al-Islami bagian Da'wah. 

Di periode yang sama, Panji menjabat sebagai presiden Perhimpunan Keluarga Besar Indonesia Sabah Malaysia (PERKISA). 

Beberapa tahun kemudian, Panji meminta izin ke Natsir untuk kembali ke Tanah Air karena ingin membangun pesantren.

Panji mulai merintis pembangunan Ma'had Al-Zaytun melalui Yayasan Pesantren Indonesia pada 1993. 

Namun pembukaan awal pembelajaran dilaksanakan pada 1 Juli 1999.

Seiring waktu, pesantren itu kemudian didapuk sebagai pesantren terbesar di Asia Tenggara. 

Lokasinya berada di Desa Mekarjaya, Kecamatan Gantar, Kabupaten Indramayu, Jawa Barat.

Luas areanya lebih dari 1.200 hektare.