中山古称“香山”，据唐朝《太平寰宇志》记载，其境内的五桂山多产奇异花卉，香溢数十里，故名香山。据考古发掘证明，在距今5000多年前的新石器时代，此地就有土著古越族人在此渔猎、生活。
前214年，秦始皇平定岭南地区的百越之地后，此地属南海郡番禺县地。秦朝末年，赵佗创立南越国，此地属南越国领地。公元前111年，汉武帝灭亡南越国，此地重回汉朝中央管辖，属南海郡番禺县地，其后一直沿袭至晋朝，均是番禺县地。晋朝此地改属东官郡地。唐朝，此地设置为香山镇，隶属于东莞县地。南宋绍兴22年（1152年）由于香山镇的发展，升级为香山县，中山始有县级行政区划，此时的香山县隶属于广州府。宋朝至明朝，根据香山县的人口和赋税状况，香山县均被列为下县。在清朝嘉庆年间，由于香山的发展，遂与南海、番禺、东莞等同列为大县。
第一次鸦片战争时期，位于珠江口西岸的香山是战场之一。1839年，林则徐来广东主持禁烟，8月16日驻兵香山县城，令澳葡当局驱逐英商义律等人。1840年，第一次鸦片战争爆发之后，英国战船驶至澳门关闸，强行登陆，香山的清朝驻军曾作勉强抵抗。鸦片战争之后，清朝国门开放，香山开始有学生出国留学，他们中的一部分，如孙中山、唐绍仪、杨仙逸、容闳、苏曼殊等日后成为了中国近代史的名人。
澳门原本属于香山县。明朝嘉靖32年(1553年)，葡萄牙人借机在澳门半岛定居。第一次鸦片战争以后，道光二十五年(1845年)葡萄牙人宣布澳门为“自由港”。1849年葡萄牙人赶走香山驻望厦村的县丞，将澳门侵占。
在辛亥革命中，香山是广东第三个光复的县。1911年10月武昌起义后，同盟会香港总机关决定在香山发动广东的首场起义，林君复、郑彼岸、林警魂等人领兵起义后，进攻香山县城石岐，于11月6日光复香山。民国14年（1925年），中华民国首任临时大总统孙中山逝世。当时位于广州的中华民国陆海军大元帅府为纪念孙中山先生，决定将孙中山的故乡香山县易名为中山县。
抗日战争爆发以后，1937年7月，日军陆续侵占中山县境内的一些沿海岛屿。1940年3月5日，日军藤井兵团动用1万兵力入侵中山，3月15日全县大部分地区沦陷。1942年4月，中国共产党在五桂山成立了抗日游击队，这支队伍和中国国民党剩余的一些部队，共同开展敌后游击战争。1945年1月15日，中共的华南人民抗日游击队珠江纵队在五桂山古氏宗祠成立。1945年8月15日，日本宣布无条件投降，中山随之光复。
1945年11月至1948年秋的国共内战期间，中山县的国民党军队曾4次发动对五桂山、凤凰山一带中共武装组织的进攻。1949年10月30日，中国人民解放军两广纵队攻下中山县城石岐，中国国民党军队溃败，自此，中国共产党及其创立的中华人民共和国政府开始了在中山县的统治。
在中华人民共和国时期，1961年从中山县划出珠海县，又陆续划出部分地方归斗门县、番禺县、顺德县、新会县，中山的面积减少了43%。1979年开始，中山实行改革开放政策，采用的形式主要有“三来一补”和与外商合资，1980年开业的中山温泉宾馆是全广东首家引进外资办起的宾馆。经过数年的发展，经济有了长足进步，1983年12月经中国国务院批准，中山撤县置市，为县级市，1988年1月升格为地级市。