光绪二十二年（1896年），清政府特使李鸿章赴俄祝贺沙皇加冕典礼，与沙俄签订了《中俄御敌相互援助条约》（简称《中俄密约》），在这个《条约》中规定了有关东清铁路的建设事宜。
东清铁路从1897年8月举行开工仪式，次年正式破土动工，以哈尔滨为中心，分东、西、南部三线，由六处同时开始相向施工。1903年7月14日，东清铁路全线通车营业。
同时修筑的从哈尔滨直达旅顺的支线铁路（「中东铁路南满支线」）习惯上也认为是东清铁路的一部分。1905年日俄战争结束时长春以南路段改属日本，称为南满铁路。俄国东省铁路公司还取得铁路两侧数十公里宽地带的行政管理权、司法管理权和驻军的特权，形成比一般租界规模大得多的「国中之国」。沿线兴起一批大小城镇，特别是东省铁路公司的管理中心，铁路枢纽哈尔滨，是北满最大城市。
九一八事变后，东北沦陷，日本从苏联手中收买了中东铁路。1945年，苏联一度又拥有这条铁路。1952年，东清铁路回到中华人民共和国的怀抱。如今，这条铁路称为滨洲铁路和滨绥铁路，均属哈尔滨铁路局管理。