일본이 19세기 말부터 그토록 한반도 철도 부설에 집착했던 이유는 우리나라와 중국을 침략하기 위한 군대와 군수품의 원할한 수송에 있었다. 1898년 9월8일 경부철도주식회사를 설립해 조선 정부로부터 경부철도 부설권을 획득한 일본은 1900년 8월부터 공사에 들어갔다.
기공식은 두 군데서 진행되었다. 북부 기공식은 1901년 8월20일 서울 영등포에서 열렸고 남부 기공식은 9월21일 부산 초량에서 거행되었다. 공사는 관민의 저항과 반대, 용지매수에 따른 분쟁, 결빙과 홍수 등의 난관으로 1902년 말까지 북부구간이 51.5km, 남부구간이 53.1km만 완성될 정도로 더디게 진행되었으나 러일전쟁이 임박하면서 일본의 채근으로 속도가 빨라졌다.
1904년 12월27일 마침내 영등포˜초량 간 철도선이 완공되어 1905년 1월1일 총연장 444.5km의 경부선 영업이 시작되었다. 경인선에 이어 우리나라 두 번째 철도선이었다. 개통식은 5월25일 남대문 정거장(서울역)에서 성대하게 열렸다. 곧 부산과 시모노세키를 연결하는 최초의 부관연락선 ‘이키마루(壹岐丸)호’가 취항(1905년 9월11일)하고, 서울과 신의주를 잇는 경의선도 개통(1906.4.3)됨으로써 섬나라 일본은 사실상 대륙과 연결되는 효과를 보았다.
1908년 4월1일부터는 순종임금의 연호에서 이름을 딴 직통 급행열차 ‘융희호(隆熙號)’가 부산∼신의주 간을 달리고 1911년 11월1일부터는 만주까지 직통급행이 연장됨으로써 경부선·경의선은 국제선의 기능까지 갖추게 되었다. 고립된 섬으로부터 탈출하려는 그리고 제국주의의 마각을 드러내려는 일본의 오랜 꿈이 마침내 이뤄진 것이다. 경인선 개통당시 평균 속도는 시속 20km에 불과했으나 경부선은 50km, 융희호는 최고시속 60km로 달려 속도에서도 장족의 발전을 이뤘다.