公元前221年，秦始皇在岭南设置了桂林郡、南海郡、象郡，凭祥属象郡地。元鼎六年(公元前111年)冬，汉平南越后，凭祥为郁林郡雍鸡县地。三国至西晋，凭祥属郁林郡临浦县地。东晋至南北朝时期属郁林郡晋城县地。隋属宣化县地。唐代始设置羁縻石西州，州治上石今镇。宋为永平寨辖地，在镇压侬智高起义后，设置了凭祥峒，土司世袭。此为凭祥得名由来。当时治于驮里三化(今三联村境内)处。元属思明路辖地。明洪武十八年(公元1385年)凭祥又改设镇，隶属太平府。永乐二年(公元1404年)五月，凭祥镇升为凭祥土县，改隶思明府。成化十八年(公元1432年)，因镇夷关(今友谊关)为左江流域要害之地，故被提格为土州，直隶广西布政司。清初袭明制，顺治十一年(公元1654年)，凭祥土州改隶太平府。光绪二十八年(公元1902年)，凭祥土州降为弹压，归明江厅兼理。宣统二年(公元1910年)凭祥土州改流置凭祥厅，并上石区域兼弹压下石土州。民国二年(公元1912年)凭祥改为县。1913年下石土州改土归流并入。1912-1932年凭祥县下设4区19团。1933年废区设乡，一二三四区分别改为城厢乡、上石乡、下石乡、隘口乡。新中国成立后，于1951年5月，宁明、明江、凭祥三县合并为镇南县，县政府驻宁明城中镇。1952年镇南县与思乐县并为宁明县。1955年7月，划凭祥为县级镇，与宁明县分治。1956年11月16日，凭祥镇改为县级市。1958年12月，宁明县、龙津县、凭祥市合并为睦南县，县政府驻凭祥镇。1959年5月10日，睦南县又分为宁明县、龙津县。时凭祥又降为宁明县属睦南公社，对外仍称凭祥市。1961年5月27日宁明县复析出县级凭祥市，下设隘口、睦南、竹山3个人民公社。1966年10月，龙州县平而大队划归凭祥市。1981年，宁明县夏石公社划归凭祥市。1984年，撤销人民公社改为乡镇。现在凭祥市管辖凭祥、友谊、上石、夏石4个镇，33个村委会，5个居委会(社区)。

    2002年11月国务院批准凭祥市为广西壮族自治区直辖市。2003年1月自治区批准崇左市代管凭祥市。