Tahun 1641 pusat pemerintahan kerajaan Kertabumi dipindahkan dari Banjar ke Bojonglopang, Cisaga, saat ini merupakan wilayah kabupaten Ciamis yang dipimpin oleh Dalem Pager Gunung.
Pada masa kolonial Hindia-Belanda, wilayah Banjar bersama Kawasen, Pamotan, Pangandaran dan Cijulang, masuk ke wilayah Galuh Imbanagara dengan nama Bupati Raden Aria Panji Jayanagara.
Ketika Inggris menguasai Jawa pada tahun 1815, Banjar masuk wilayah Sukapura atau Tasikmalaya bersama dengan Ciamis di bawah perintah Gubernur Jendral Sir Thomas Stamford Bingley Raffles.
Tahun 1936, Banjar kembali bergabung dengan wilayah Ciamis pada masa pemerintahan Bupati Raden Tumenggung Sunarya. Pada masa itu Banjar tumbuh pesat menjadi kota transit dengan letaknya yang strategis, berada di perbatasan Jawa Tengah dan Jawa Barat.
Hingga akhirnya pemerintah Hindia-Belanda menjadikan kota Banjar sebagai wilayah Kawedanaan pada tahun 1941, meliputi Banjar, Cisaga, Rancah, dan Cimaragas.