Berdirinya Pondok Pesantren Ar Rahman berawal dari keinginan Pimpinan Majelis Dzikir Al Furqon agar segala bentuk pembinaan dan pendidikan di Majelis Dzikir tersebut dapat direalisasikan dalam bentuk amaliyah secara nyata.Pemahaman dan pengertian yang diperoleh dari pengajian khususketauhidan ini mengajarkan untuk selalu membersihkan hati melalui dzikrullah, serta melakukan amaliyah-amaliyah dalam bentuk kebaikan bagi masyarakat banyak sehingga terbentuk manusia yang “Rahmatan Lil’alamin” (Bermanfaat bagi seluruh alam). Dipilihnya Ar Rahman (Pengasih) sebagai nama, adalah adanya keinginan dan tekad untuk memberikan rasa kasih tanpa pilih kasih terhadap umat Islam.
Pembangunan Pondok Pesantren Ar Rahman tersebut bersamaan dengan pembangunan Ponpes Ar Rahman yang dimulai tanggal 3 Desember 1993, di atas tanah wakaf seluas 2 ha lebih dari salah seorang pensiunan Pertamina yang bernama Bapak Toha Usman. Selama bertahun-tahun kegiatan pembangunan Panti tersebut diusahakan, tapi masih dalam tahap penimbunan tanah dan pembersihan lahan. Barulah di tahun 2000 tepatnya tanggal 28 Juli, bangunan tersebut dapat terwujud walaupun sangat sederhana.