کنکاو یین تاریخ و قدمت این شهر کاری ست بس دشوار و شگرف. تاریخ آن به قبل از اسلام و میلاد مسیح می‌رسد که در حال حاضر در جای جای تاریخ شواهدی از اقوام ساکن در این شهرستان بدست می‌آید، آثار بدست آمده از تمدن این منطقه نشانگر قدمت بیش از ۵۰۰۰ سال را نشان می‌دهد. این شهرستان را می‌توان از نظر تاریخی جزء نواحی غربی کران دانست و علاوه بر این از قرون قدیم تا امروز قلعه گنج جزء برکات رودبار محسوب می‌شود، از آنجایی که ساکنان این شهرستان کوچ و قفص هستند در بسیاری از کتاب تاریخی این شهرستان به خیال قفص معروف بوده‌است.[۵] همچنین غالب جمعیتی که هم اکنون در ناحیه زندگی می‌کنند فارس، بلوچ، عرب، بختیاری و پرتغالی هستند.
وجه تسمیه
از آنجایی که قلعه گنج در گذشته به کلات گنج معروف بوده و بعضی از طوایف این منطقه به کلات گنجی معروف هستند، می‌توان چنین پنداشت که مردمان این نواحی در گذشته صاحب قنات‌ها، گنج‌ها، نعمت‌ها و آبادانی‌های فراوان بوده‌اند؛ بنابراین همان‌طور که از اسمش پیداست سرزمین حاصل خیزی و پردرآمدی است و در آن کشت انواع محصولات گرمسیری متداول است.