1895年的中日甲午战争结束后，同年7月19日，即《马关条约》签订后的第94天，光绪帝发出一道谕旨，宣称“当此创巨痛深之日，正我群臣卧薪尝胆之时”，并提出救亡图存的六项“力行实政”，修铁路被列为首项。清光绪二十三年（西元1897年），两江总督张之洞等人建议清政府修建吴淞至江宁的铁路，并从苏州接一条支路到杭州。1898年，英国政府以最惠国待遇为由，向清政府索办沪宁铁路，但处于弱势的清政府只能同意商办。铁路总公司督办盛宣怀与英商怡和洋行签订《沪宁铁路借款草合同》，准许英商出资承办沪宁铁路。1903年又正式签订借款合同，先后共借款290万英镑。1905年4月25日，沪宁铁路分开成上海—苏州、苏州—常州、常州—镇江、镇江—江宁（今南京）四段同时开工建造。经过三年工程后，沪宁铁路于1908年（光绪34年）4月1日全线通车，当时线路全长311公里，由上海北站至南京下关站，沿途共设车站37个。1908年4月3日的《申报》也报道了“沪宁铁路开车典礼”﹕“沪宁铁路告竣，定于三月初一开车。全路通行镇道刘观察亲至京岭下总车站举行开车典礼式。中西官绅到者甚多，颇极一时之感。” 当时上海到南京的火车需要10个小时。沪宁铁路通车的同时也设立了“沪宁铁路管理局”，亦即是上海铁路局的前身，该局名义上派有华人主持局务，但管理实权仍在英国人手中。沪宁铁路的经营管理权直到1929年后才由国民政府铁道部逐步收回。于1928年到1949年间，曾被称为“京沪铁路”，这是因为当时国民政府完成北伐后，是以南京市为中国首都，故名“京沪铁路”。1933年，在南京负责来往长江两岸、下关和浦口之间的火车轮渡开始通航，使沪宁铁路能与长江对岸的津浦铁路连接，自此旅客由上海乘坐火车到北平，不需要先在南京下关站（今南京西站）下车再坐渡轮到长江对岸的浦口站（今南京北站）换乘列车到北平。1937年八一三事变后，沪宁铁路被侵华日军占领。在抗日战争中，沪宁铁路遭受严重破坏。1949年，随着国共内战中中国共产党的解放军不断向南推进，1949年5月27日，解放军进占上海，沪宁铁路运输秩序渐渐恢复，两天后恢复客运，同年7月1日，中断了12年的上海至北平直达旅客列车恢复开行。中华人民共和国成立后，沪宁铁路多次进行设备现代化。五十年代起淘汰旧木质枕木，改用预应力钢筋混凝土轨枕，并使用弹性扣件和新型道岔，至1958年2月26日，上海至南京开行特快列车，全程时间由5小时缩短到4小时。1958年起建造沪宁铁路第二线，后因三年困难时期，1961年工程暂停。1968年12月29日，南京长江大桥建成通车，列车过江不再需要火车轮渡，新南京站也同时启用，津浦铁路和沪宁铁路接轨，并改名为京沪铁路。沪宁铁路改名为京沪铁路沪宁段，俗称仍为沪宁铁路。而沪宁铁路运输能力日益紧张，所以沪宁复线工程再次开工，部分路段陆续建成双线。1986年6月，沪宁铁路双线接轨至上海站（老北站），至此沪宁铁路全线正式成为双线铁路，线路限速120KM/H。1995年起，沪宁线开始进行提速改造和列车提速试验。1996年4月1日，中国第一列快速旅客列车“先行号”在上海站首发，最高时速达140公里，上海至南京全程时间缩短到2小时48分，中国第一次在铁路既有线提速取得成功。1999年10月1日NZJ1型新曙光号内燃动车组在沪宁线的测试中，创下了时速194公里、当时沪宁线的最高运行速度记录。2007年4月18日，中国铁路第六次大提速，京沪线沪宁段上开行时速200公里以上的和谐号动车组，沪宁段部分区段最高时速达到250公里，上海至南京全程时间缩短到2小时内。京沪线沪宁段电气化改造在2005年7月1日开始，并在2006年7月1日完工并投入运营。2006年7月20日，沪宁线首列电力机车牵引的客车上线运行，列车为上海开往无锡的N504次，由韶山9型电力机车牵引。现在的京沪铁路由原先的原来由京山线（北京-山海关）北京-天津段、津浦线（天津-浦口）、沪宁线新南京站-上海一段组成。铁道部在2006年12月31日宣布，自2007年1月1日起，将沪宁铁路并入京沪线，改称“京沪线沪宁段”，因此铁路运行图现已没有“沪宁铁路”此名称，不过许多百姓和传媒仍有说“沪宁线”、“沪宁铁路”的习惯。
