‘힐베르트 문제’ 20세기 수학자들이 반드시 넘어야 할 산
독일의 수학자 다비트 힐베르트(1862~1943)는 일생 동안 한 분야를 연구하기도 힘든 대수학·기하학·해석학·수리물리학·수리철학 등 수학의 온갖 분야를 섭렵한 ‘현대 수학의 아버지’다. 오늘날 힐베르트 공간, 힐베르트 부등식, 힐베르트 변환, 힐베르트 불변적분, 힐베르트의 공리, 힐베르트 유체론 등 온갖 수학 용어에는 그의 이름이 새겨 있다.
힐베르트가 프랑스 파리에서 열린 제2차 국제수학자대회에서 ‘수학의 미래’라는 제목으로 연설한 것은 1900년 8월 8일이었다. 힐베르트는 “모든 수학적 문제는 반드시 해결할 수 있다는 신념이 수학자들에게는 강력한 자극제가 됩니다. 우리는 자신에게 ‘여기에 문제가 있다. 그 해(解)를 찾아라. 너는 순수한 추리로 그것을 찾을 수 있다. 수학에는 무지란 없기 때문이다’라고 끊임없이 속삭입니다”라고 연설한 뒤 20세기에 풀어야 할 23개의 문제를 발표했다. 산술, 대수학, 함수론 등을 망라한 이 23개의 ‘힐베르트 문제’는 이후 20세기 수학자들이 반드시 넘어야 할 산으로 자리 잡았고, 현대 수학에 여러 가지 이론적 기초와 단초를 제공했다.
‘힐베르트 문제’는 수학자라면 한 번쯤 도전할 만한 가치가 있는 난제들이어서 문제를 푼 수학자들은 학계에서 최고의 명성을 얻었다. 20세기 수학이 ‘힐베르트 문제’를 풀면서 시작되었다고 하는 이유가 바로 여기에 있다. ‘힐베르트 문제’는 많은 천재들의 노력으로 오늘날은 단 하나만 남기고 모두 풀린 상태다.
힐베르트가 20세기 벽두에 23개의 문제를 제기한 것은 19세기 말부터 수학에서 발견되기 시작한 각종 ‘역설’로 인해 수학에 위기가 닥쳐왔다고 믿었기 때문이다. 무엇보다 수학의 기초를 공고히 해줄 것으로 기대했던 게오르크 칸토어의 집합론에서 예기치 않은 역설이 발견된 것이 위기감을 고조시켰다. 그러나 힐베르트는 수학을 형식화하면 그 형식 체계에서는 모순이 도출되지 않는다는 것을 엄밀하게 증명할 수 있을 것이라고 낙관했다. 과학의 중심은 수학이며, 인간의 지성에는 한계가 없다고 믿었던 힐베르트는 역설의 문제를 정면 돌파하기로 하고 이른바 ‘힐베르트 프로그램’을 추진했다. ‘힐베르트 문제’도 ‘힐베르트 프로그램’의 일환이었다.
힐베르트는 독일 쾨니히스베르크에서 태어났다. 고교 시절 좀 아둔한 편이었다고 회상할 정도로 기억력이 좋지 않고 사물에 대한 이해 속도도 떨어졌지만 수학 실력만은 발군이었다. 1884년 쾨니히스베르크대에서 박사학위를 받고, 1886년 같은 대학의 교수로 부임했다. 힐베르트는 30년 가까이 유럽의 수학자들을 괴롭혀온 ‘고르단의 문제’를 1888년 수학적 귀류법을 사용해 간단하게 해결함으로써 명성을 쌓았다.
수학적 귀류법은 어떤 명제가 참임을 증명하고자 할 때, 그 명제를 거짓이라고 가정했을 경우 논리 전체가 모순을 보이는 것을 증명함으로써 그 명제가 참임을 증명하는 방법이다. 1895년 힐베르트는 세계 수학의 중심지인 괴팅겐대로 옮겨 현대 수학의 기초를 연구했다. 그가 재직하는 동안 괴팅겐대는 뜨거운 지성의 용광로가 되어 수학은 물론, 물리학, 화학 같은 자연과학의 신시대를 연 선구자로 인정받았다.
오늘날 온갖 수학 용어에는 그의 이름 새겨 있어
힐베르트는 불편부당한 학자였다. 독일과 프랑스가 전쟁 중이던 1917년 프랑스 수학자 다르부가 사망하자 비난을 무릅쓰고 추도사를 썼으며 제자를 받을 때 국적, 신분, 성별을 따지지 않았다. 여성 수학자에게 강사 자리를 주려는 것을 다른 교수들이 반대하자 “대학은 목욕탕이 아니지 않습니까?”라고 반박했다는 일화가 있다.
힐베르트는 1902년 ‘기하학의 기초’를 출간, 유클리드 기하학을 다시 한 번 체계화함으로써 수학적 형식주의의 기초를 닦았다. 1915년에는 변분법이라는 수학적 방법을 이용해서 아인슈타인과 동일한 중력장 방정식의 최종식을 얻어냈으며 1924년에는 수제자인 쿠랑과 함께 20세기 수리물리학 분야의 고전이 된 ‘수리물리학의 방법’을 출판했다. 이처럼 수학의 미래를 낙관하던 그의 믿음과 기대를 송두리째 앗아간 인물이 있었으니 바로 쿠르트 괴델(1906~1978)이라는 20대의 천재 수학자였다.
괴델은 1930년 10월 수학자·철학자·논리학자들의 모임인 쾨니히스베르크 학회에서 ‘불완전성 정리’를 발표하고 1931년 이것을 논문으로 완성해 세계 수학계를 깜짝 놀라게 했다. ‘불완전성 정리’는 제1정리와 여기서 딸려 나오는 제2정리로 구성되어 있다. 제1정리를 요약하면 산술이 가능한 모순 없는 수학적 형식 체계가 있다고 할 때 그 체계 안에는 참이면서 동시에 증명이 불가능한 명제가 존재한다는 것이다. 제2정리는 그 형식 체계의 무모순성을 체계 내에서는 증명할 수 없다는 것이다. 이로써 괴델은 힐베르트의 둘째 문제가 해결될 수 없음을 증명했다.
참이지만 참이라고 증명할 수 없는 수학적 명제들이 존재한다는 그의 주장은 모든 수학적 정리는 증명이 가능하다는 완전성 정리가 지배하는 시절에 나와 ‘불완전성 정리’라고 이름 붙여졌다. 괴델의 불완전성 정리는 힐베르트나 그 이전 수학자들이 “우리가 알고자 하는 수학적 문제들은 결국 진리이거나 거짓으로 판명 또는 증명될 것”이라며 당연하다고 여겨온 믿음이 옳지 않다는 것을 의미했다.
괴델의 정리는 ‘논리적으로 모순 없는 형식 체계’를 만들어낼 수 있다는 힐베르트의 믿음과 기대에 치명타를 안겨주었다. 사실 ‘불완전성 정리’는 힐베르트의 선행 연구와 개념 규정이 있어 가능했던 것인데도 힐베르트는 한동안 깊은 좌절감에 빠졌다.
나치의 등장도 그에게는 또 다른 시련이었다. 2차대전 당시 독일 정부가 예술가와 과학자들의 이름으로 전쟁 지지 선언을 발표할 때 그와 아인슈타인은 서명을 거부했다. 힐베르트는 반역자로 비난받았고 히틀러의 집권으로 동료들이 독일을 떠난 뒤에는 고독한 말년을 보냈다.
힐베르트가 ‘현대 수학의 아버지’로 불리는 것은 그의 학문적 업적 때문만은 아니다. 인간 지성의 발전 가능성에 굳은 믿음을 가지고 있었고 제자들을 통해 “모든 수학 문제는 그것을 풀 수 있든지, 풀 수 없다는 증명을 할 수 있든지 둘 중 하나”라는 ‘힐베르트 정신’을 넘겨준 것도 작용했다. “우리는 알아야 한다. 우리는 알게 될 것이다”라는 비문은 수학자로서의 그의 열정을 잘 웅변해주고 있다.