괴델의 증명 1

나이젤과 뉴먼이 쓴 괴델의 증명에 대한 첫번째 소개입니다. 동영상은 아래에 있으며 대본은 아래와 같습니다. 

안녕하세요. 오늘의 질문 강국진입니다. 오늘부터는 나이젤과 뉴먼이 쓴 괴델의 증명이라는 책을 소개드리겠습니다. 하지만 이건 단순한 독후감은 아닙니다. 이 책 안에 나오는 내용을 재정리해서 괴델의 정리가 어떻게 증명되었는지, 그게 어떤 의미가 있는지 보여드리고 생각하는 시간을 가지려고 합니다. 그러니까 괴델의 정리를 말만 들어봤는데 좀 더 자세히 알고 싶다는 분들이 계시다면 이걸 참조하시면 좋을 것같습니다. 

그럼 이야기를 수학원리에서 부터 시작해 보겠습니다. 1910년부터 러셀과 화이트헤드는 모순을 가지지 않은 수학의 논리적 전개를 목표로 하는 수학원리라는 책을 출간합니다.  

그리고 1931년에 바로 쿠르트 괴델이 이 수학원리의 한계를 다룬 논문을 출간하죠. 그 논문의 제목이 '수학원리와 관련된 시스템에 있어서 형식적으로 결정불가능한 명제에 대하여'라는 논문을 발표합니다. 그리고 이 논문이 담고 있는 내용이 바로 유명한 괴델의 불완전성 정리입니다. 불완전성 정리는 이후에 수학분야의 상대성 이론이라고 말해도 좋을 만큼 큰 사회적 파장을 불러 일으켰습니다. 단순히 수학자들만 아는 정리가 아니게 된 거죠.

그래서 나이젤과 뉴먼이 1958년에 괴델이 자신의 정리를 어떻게 증명했는가를 비전공자들도 이해할 수 있게끔 짧은 책을 하나 썼는데요. 그게 바로 이 괴델의 증명이라는 책입니다. 참고로 말씀드리면 괴델, 에셔, 바하라는 책을 쓴 유명 작가인 호프스테더가 이 책의 2001년 개정판의 서문을 썼습니다. 왜냐면 호프스테더가 14살때 이 책을 읽고 괴델의 증명에 빠져서 결국 그의 베스트셀러를 쓰게 되었기 때문이죠. 물론 그 사람은 똑똑한 사람이지만 그래도 14살짜리 학생이 읽을 수 있는 수학 증명 책이라는 거니까 좀 집중하시면 여러분도 괴델의 불완전성 정리의 세계에 깊이 들어오실 수 있겠습니다. 

자 그럼 이런 질문에서 시작해 봅시다. 우리는 왜 괴델의 정리에 대해 생각해 봐야 할까요? 수학자도 아닌데 말입니다. 그 한가지 이유는 역사적 사회적으로 영향력이 있었던 이 괴델 정리에 대해 조금 더 알게 되어 지적인 흥미를 만족 시킬 수 있다는 것입니다. 사실 이공계 분야에 관심이 있으신 분들은 괴델의 정리에 대해 다들 들어는 보셨을 겁니다. 하지만 세상에 알 것은 많죠. 그래서 제대로 괴델의 정리를 공부해 보지 못했을 수 있습니다. 그래서 나는 죽기전에 괴델의 정리를 제대로 한번 알고 싶다라고 생각하시는 수학 비전공자분들이 계시다면 추천드리는 책이 바로 이 나이젤과 뉴먼의 괴델의 증명입니다. 

하지만 괴델의 정리를 일반인들이 생각해 봐야 하는 이유가 이게 전부는 아닙니다. 괴델의 정리를 공부하다보면 우리는 자연스레 창의력이라든가 옳다든가 사물의 의미라던가 하는 문제에 대해 생각해 보게됩니다. 이런 문제들에 대해 깊은 생각을 해주게 만든다는 점이 바로 수학자가 아니라도 괴델의 정리를 공부해 볼 이유라고 생각합니다. 물리학자가 아니라도 상대성이론이나 양자역학에 대해 들어 보는 것이 좋은 것처럼 말입니다. 이건 철학의 문제입니다. 

그럼 모순을 가지지 않은 수학이 뭘까요? 이 이야기를 하려면 논리적 기호적 수학에 대해서 이야기해야 합니다. 그리고 논리적이고 기호적으로 전개되는 수학은 다음으로 이뤄집니다. 먼저 부호 또는 어휘가 있고, 구성에 대한 규칙이 있으며, 다음에는 변형에 대한 규칙이 있고 마지막으로 공리들이 있습니다. 이게 좀 복잡해 보이지만 체스같은 게임들을 생각하면 그리 어렵지 않게 이해할 수 있습니다. 수학에 있어서 부호 또는 어휘라는 건 체스의 말같은 겁니다. 우리는 이 장기말들의 배치를 바꾸면서 경기를 합니다. 그리고 구성에 대한 규칙이라는 건 체스말을 아무 곳에나 놓아서는 안되고 정해진 사각형 위에 놓아야 한다는 규칙같은 겁니다. 그러니까 유효한 장기알의 위치들에 대한 규칙인 것이죠. 그리고 나서 나오는 것은 변형규칙입니다. 우리가 체스나 장기를 둘 때 말은 정해진 규칙에 따라서 움직입니다. 그리고 그 규칙대로 움직이면 체스판속의 말들의 위치가 바뀌게 되는 겁니다. 이게 바로 변형 규칙입니다. 마지막으로 공리들이라는 것은 수학에서 출발점들이라고 할 수 있는데요. 보통은 여러개가 있지만 체스에는 한개밖에 없습니다. 바로 체스를 두기 시작할 때 말들이 늘어서 있는 모습이 체스에서의 공리라고 할 수 있습니다.   

자 그럼 체스를 두는 걸 상상해 봅시다. 우선 처음 체스판의 출발점이 있고 우리들은 규칙에 따라 체스 말의 위치를 바꿉니다. 이렇게 정해진 출발점에서 변형규칙에 따라서 말들의 위치를 바꿨을 때 우리는 새로운 체스판의 모습을 가지게 됩니다. 수학에서는 공리들에서 출발해서 정해진 변형규칙에 따라 기호들을 다르게 배열하게 됩니다. 그리고 이렇게 다르게 배열된 기호들을 우리는 수학의 정리라고 말합니다. 그리고 정리의 증명이라는 것은 바로 공리에서 출발해서 그 정리에 도달할 때까지의 수식을 변형시키는 과정을 말하게 됩니다. 그러니까 우리가 체스를 두는 동안 말을 하나 움직일 때마다 우리는 새로운 정리를 만들어 내고 있는 겁니다. 그리고 어떻게 말들을 움직여야 판이 그렇게 되는가 하는 가 하는 것이 바로 증명과정이 되는 것이죠. 말하자면 수학자들이란 장기판위의 말들을 보여준 다음에 어떻게 하면 판이 이렇게 될 수 있는지 생각해 보는 사람이 되는 겁니다. 

익숙한 사람이 아니면 수학을 이렇게 말하는 것이 좀 복잡하게 들릴 수 있습니다. 하지만 어려운 이야기는 아닙니다. 그리고 앞으로 할 이야기들에 있어서 매우 중요한 것이기 때문에 혼동이 생기시는 분들이 있다면 여기서 멈춰서 수학과 게임간의 관계에 대해 잘 생각해 보시는 것이 좋습니다. 게임이 어떻게 구성되는지 그리고 수학이 어떻게 구성되는지 하는 것에 대해서 말입니다. 그리고 조금 이따가 말씀드리겠지만 괴델의 증명까지 가지 않는다고 하더라도 이 이야기는 이 자체가 중요한 의미가 있습니다. 

자 그럼 우린 언제나 이런 질문이 필요하죠. 도대체 이런게 왜 필요한가 하는 겁니다. 여기에는 많은 사람들이 알면 좀 놀랄만한 일이 있습니다. 많은 사람들은 수학공식을 증명을 해서 쓰는 것으로 생각합니다. 수학이 과학이나 공학처럼 어떤 경험법칙을 찾는 거라고는 생각하지 않죠.  원리는 잘 모르겠지만 이런 식으로 만들면 기계가 작동하더라 이런 건 수학이 아니라고 생각할 겁니다. 그런데 19세기가 되자 유럽의 수학자들이 점점 더 알게 된 것은 널려 알려진 수학 공식들이라는 게 거의 이런 수준이었다는 겁니다. 자기들은 이 수학공식이 증명이 있었다고 생각하면서 그걸 써왔는데 자세히 그 증명을 검토하니까 엉터리가 많다는 것이 알려지게 된 거죠. 증명이 없어도 경험적으로 옳으면 되는거 아니냐고 할 분도 있겠지만 수학자들은 그걸 좋아하지 않았습니다. 마치 거대한 100층짜리 건물을 지었는데 누가 1층이 엉터리라고 하면 잠을 잘 수 없는 것과 비슷한 겁니다. 그 동안 고생해서 쌓아 올린게 한꺼번에 무너질 수 있으니까요. 게다가 수학이 모순을 보이는 경우가 실제로 나타났습니다. 칸토르가 전개한 집합론에서는 직관적이고 상식적으로 수학을 전개했는데도 분명한 모순이 나타난 겁니다.

그러니까 수학자들이 수학을 다시 써서 기초를 다지려고 합니다. 이렇게 수학에 있어서 숨겨진 가정들을 들어내고 모순을 제거하려는 노력의 끝에서 마침내 수학은 기호들을 논리적으로 전개하는 학문이 된 겁니다. 그리고 이러한 노력의 절정이 바로 앞에서 소개한 러셀과 화이트헤드의 수학원리였던 거죠. 괴델이 한 일은 누가 열심히 거대한 빌딩을 정교하게 지었는데 그런 건물은 애초에 지어질 수가 없었다고 증명한 것이었습니다. 

자. 그런데 여기서 중요한 말이 나옵니다. 이 과정에서 순수수학이 다루는 기호들은 의미를 잃는다라는 말입니다. 이 말이 중요하다는 것은 오늘날 수학과 논리학은 거의 같은 말이라는 것을 봐도 알 수 있습니다. 따라서 우리가 논리적으로 사고하려고 하는 모든 분야에서 수학이 다루는 기호들은 의미를 잃는다는 말이 어느 정도 의미를 가지게 됩니다.

수학자들이 한 것은 그들의 수학체계에서 숨겨진 가정이 없도록 하는 것이었습니다. 체스의 예를 들어 봅시다. 체스판에서는 나이트라는 말이 있습니다. 이 나이트를 움직일 때 이건 나이트 즉 기사니까 폰 즉 하인이나 앞잡이 같은 말이 한번 움직일 때 두 번 움직여도 된다는 주장은 옳지 않습니다. 사실 나이트라는 말을 폰으로 부르고 폰을 나이트로 불러도 체스는 바뀌지 않습니다. 중요한 것은 각각의 말들이 움직이는 규칙이죠. 

다르게 말하면 순수수학에서 혹은 게임에서 모든 의미는 오직 관계에서만 나타나며 기본적 구성요소 자체는 아무 의미가 없다는 겁니다. 게다가 이 의미라는 것도 이 시스템 내부에서의 의미이지 우리의 일상생활에서, 우리가 살고 있는 이 세계에서의 의미가 아닙니다. 

수학적 과학의 대표는 물리학입니다. 뉴튼 물리학에서 뉴튼은 작은 질점이라는 개념을 만들었습니다. 질량을 가진 작은 점인 이 질점은 사실 뉴튼의 방정식과 중력법칙을 따른다는 것을 제외하면 거의 의미가 없습니다. 물론 물리학은 수학이 아닙니다. 그러니까 물리학을 전개할 때 우리가 미리 나열한 공리에만 의존해서 하는 것은 아닙니다. 하지만 엄밀하게가 아니라면 질점은 그것이 따르는 자연법칙을 제외하면 아무 의미가 없는 것이라고 해도 과언이 아닙니다. 

더 흥미로운 것은 원자입니다. 화학적인 연구로 세계가 원자로 이뤄져 있다는 것을 알아도 뉴튼 물리학이 무너지지는 않았습니다. 왜냐면 원자내부는 아직 몰랐으니까요. 원자는 핵융합같은 경우를 제외하면 매우 안정적이니까요. 그러니까 그냥 이러저러한 성질을 가진 원자가 있다라고 하면 되는 겁니다. 다시한번 말하면 원자는 원자가 따르는 법칙을 제외하면 더이상의 아무 의미도 없는 것으로 여길 수 있었습니다. 

이런 이야기를 들으면 어떤 분들은 어쩌면 그게 뭐 어떤가, 과학이 본래 그런게 아닌가 싶겠지만 이건 중요한 겁니다. 이제 경제학에 대해 생각해 봅시다. 경제학은 사회를 다루는 학문이니까 논리적 분야이겠죠. 그런데 사회를 구성하는 인간을 논리적으로 다룬다는 것이 무슨 뜻일까요? 그런 학문에서 나오는 법칙들에 주목하게 되면 우리들은 자연스레 인간은 아무 의미가 없다고 생각하게 됩니다. 경제학 법칙이 나타내는 의미들이 전부라고 생각하게 됩니다. 그런데 이것은 우리가 질점에 대해서, 우리가 원자에 대해서 더이상 알 것이 없다고 생각하는 것보다 훨씬 더 큰 실수 입니다. 경제학 법칙은 인간을 전부 표현하지 못할 뿐만 아니라 인간이 원자처럼 고정된 존재도 아니기 때문입니다. 

수학, 논리, 게임, 패러다임, 과학은 다 같은 말들은 아니지만 깊숙히 연결되어져 있습니다. 그러니까 우리가 세상을 논리적으로 파악한다는 말이나 우리가 어떤 모델이나 게임을 통해 세상을 본다는 말은 사실상 같은 말입니다. 이럴 때 우리는 꼭 기억해고 이 말을 깊이 생각해 봐야 합니다.  

순수수학이 다루는 기호들은 의미가 없다. 

그렇지 않으면 우리는 얼마 지나지 않아 큰 실수를 하게 될 것입니다. 특히 경제학같은 어떤 분야들은 더 그렇습니다. 오늘은 여기까지 하겠습니다. 다음 이시간에는 본격적으로 괴델의 증명에 대해 이야기해 보겠습니다. 지금까지 오늘의 질문 강국진이었습니다. 안녕히 계세요.