1896년 첫 대회 이래 올림픽은 백인들의 독무대였다. 그들은 유색인 국가에서 올림픽이 치러지는 것을 한 번도 허락하지 않았다. 정확히는 유색인 국가에 올림픽을 치를 기회가 한번 주어졌으나 그 국가가 중일전쟁으로 개최를 반납하는 바람에 무산된 적이 있다. 결과적으로는 2차대전 발발로 그 올림픽(1940년)은 치러지지 않았다. 그 유색인 국가에 기회가 다시 찾아온 것은 1964년이었다. 10월 10일, 제18회 올림픽이 도쿄에서 개막되어 94개국 7500여 명의 선수가 15일 간의 열전에 돌입했다. 성화대에 불을 밝힌 최종 주자는 히로시마에 원자폭탄이 떨어진 1945년 8월 6일에 태어난 19세 청년에게 주어졌다.
올림픽 개최가 확정되자 일본은 신간선, 고속도로, 지하철 등을 건설하고 도로와 상하수도 등을 재정비해 도쿄를 탈바꿈시켰다. 경기장과 선수촌 등을 포함해 당시 돈으로 총 1조엔 이상이 도쿄 리모델링에 쓰여졌다. 세계최초의 고속철도 신간선은 개막에 앞서 10월 1일 개통했다. 미국과 소련이 금메달 36개, 30개로 각각 1위·2위를 차지한 가운데 일본도 홈그라운드의 잇점을 살려 금메달 16개로 3위에 올라 백인 콤플렉스를 벗어날 수 있었다. 4년 전 로마올림픽에 이어 마라톤을 2연패한 에티오피아의 아베베와 제16회 올림픽부터 도쿄올림픽까지 3회에 걸쳐 총 18개의 메달(금9, 은5, 동4)을 획득한 소련 체조선수 라리사 라티니나가 올림픽 영웅으로 주목을 끌었다.
한국은 사상 최대규모인 224명의 선수단을 파견해놓고도 레슬링의 장창선 선수가 은메달, 복싱의 정선조와 유도의 김의태(재일동포)가 동메달을 따는데 그쳐 국민들을 실망시켰다. 올림픽 출전사상 최고 성적이었지만 선수단 규모에 비하면 초라하기 이를데 없었다. 국민들로부터 “올림픽 관광단이냐”는 비난을 들어가면서까지 대규모 선수단을 파견한 것은 거리가 가깝다는 이유도 있었지만 무엇보다 올림픽에 처음 출전하는 북한을 의식한 결정이었다. 남북 간 체제 경쟁이 치열할 때 북한은 반드시 이겨야할 당위였다. 그러나 북한은 IOC가 육상선수 신금단 등 가네포에 출전한 선수들의 올림픽 출전권을 박탈하자 개막일을 하루 앞두고 올림픽을 보이콧하는 바람에 결국 도쿄에까지 와놓고도 올림픽에는 참가하지 않았다.