1、秦始皇二十五年（公元前222年），灵山县境属百越地，始皇三十三年（公元前214年），灵山县境属象郡地。

2、三国时期，灵山县境为吴国辖地，黄武五年（公元226年），灵山县境属广州合浦郡地，黄武六年（227年），灵山县境属交州合浦郡地，晋，灵山县境属交州合浦郡地。

3、南北朝南朝时期，宋泰始七年（471年），灵山县境属越州，齐属交州，梁天监一年（502年），灵山县境属安州，陈仍梁制。

4、隋开皇十八年（598年），设南宾县，县治设于南宾寨（今旧州圩西南侧），南宾县为灵山县最早县名，属钦州。

5、隋大业三年（607年），南宾县属宁越郡。

6、唐武德五年（622年），南宾县属钦州总管府。

7、唐贞观十年（636年），南宾县县治移至峰子岭南（今三海镇棠梨村境内），同年，钦州州治从钦江县迁至灵山县旧州圩南宾寨（钦州州治遗址）。

8、唐贞元十年（794年），南宾县改名灵山县，因境内有风景名胜西灵山（今称六峰山）而得名。

9、五代时，灵山县属钦州，钦州领五县：钦江、保京、内亭、遵化、灵山。

10、宋开宝五年（972年），废遵化、钦江、内亭三县，以其地并入灵山，灵山县仍属钦州，隶广南西路，宋治平二年（1065年）二月，诏徙灵山县县治于石六峰下（今六峰山东面），即今县城所在地。