1867年，德国地理学家李希霍芬考察中国18个省份后，认为胶州湾有着优越的条件，宜建一条从青岛横穿山东、到省府济南的铁路。1897年，德国占领青岛。1897年9月23日，胶济铁路动工。1897年11月，高密等县农民反抗筑路，工程暂停。1898年3月6日，强迫清政府与之签订《中德胶澳商埠租借条约》。揭开兴建胶济铁路的序幕。1899年6月1日，德国政府发布命令，特许德国亚细亚银行（代表为设立含有山东铁路公司名称的德清公司所组建的辛迪加机关）建筑由青岛经潍县（现潍坊市）至济南（包括博山支线）之铁路并营业。1899年6月14日，德国在柏林设立山东铁路公司，青岛设分公司和最高营业部。内设公司总办和营业部长。总办和营业部长的任选须经德国政府认可。资金定为5400万马克。1899年9月23日，胶济铁路由青岛向西修筑。1899年11月，因高密县境内爆发了农民领袖孙文领导的大规模农民抗德阻路武装斗争。铁路工程被迫几乎停工一年。1900年10月，山东铁路公司在距青岛7公里处四方车站旁边，开始兴建“胶济铁路四方工厂”，于1903年正式投产。1900年11月，山东铁路公司开始用轮船从德国运来所需车辆，准备通车。1901年4月8日，胶济铁路由青岛修至胶州并通车。1904年6月1日，全线竣工通车。 胶济铁路干线全长395.2公里，支线长45.7公里。1914年，日本占领胶济铁路。1915年袁世凯答应日本提出的《二十一条》，由日本继承了德国在山东的包括胶济铁路在内的一切特权。1922年2月4日，中日两国华盛顿会议签订《解决山东悬案条约》及《附约》，胶济铁路由中国赎回。抗日战争爆发后，日本再次侵占了胶济铁路，胶济铁路工人在中共党组织的领导下，纷纷组织起抗日武装队伍，多次袭击日军。1945年8月，中国重新接管胶济铁路。1945年11月2日，南京国民政府交通部平津区济南分区接收委员陈舜耕任命栾宝德为青岛办事处处长，宋连城为副处长，马克武为专员，大岛繁、石原四郎为联络分团团员。1959年，开始了双线工程，由于种种原因，直到1990年才最后完工。2003年，开始进行电气化改造工程，改造后列车最高时速可达200km /h。2006年9月8日，胶济铁路电气化改造工程全面竣工，成为山东省第一条实现电气化的铁路线。2007年9月16日21时30分左右，胶济铁路潍坊西到昌乐段大圩河火车站附近发生路基坍塌事故，一列15节的货运列车出轨。2008年1月23日20时48分，27名铁路工人在线路上施工时被高速驶来的动车组吸入车底，18人死亡，9人受伤。2008年4月28日4时41分，北京开往青岛四方的T195次旅客列车运行至山东境内胶济铁路淄博周村至王村间因超速脱线，与烟台至徐州的5034次客车相撞，造成72人遇难。2008年12月21日，胶济客运专线通车，旧线改为货运铁路，实现客货分离。2009年3月28日，青岛开往北京的D54次动车经过山东潍坊时撞死一名男子。2009年8月02日17时左右，由青岛开往南昌的K344次列车行驶至淄博周村附近时火车前部因机械故障突然起火，车上乘客与工作人员未出现伤亡。2010年6月30日，青岛开往广州的T162次列车在胶济铁路济南章丘段机车起火。
