챗GPT의 한계

챗GPT3.5가 나온 이래 지난 한해동안 거대 언어 모델에 대한 관심 나아가 인공지능(AI)에 대한 관심은 더욱 커졌고 최근에는 openAI의 CEO인 샘 알트만이 쫒겨났다가 돌아오는 소동이 있어서 이제 인간을 능가하는 AI가 나온게 아니냐는 둥, Q* 알고리즘이 뭐냐는둥 하고 말이 많다. 인류에게 위협이 되는 AI가 이미 만들어진 것이 아니냐고 떠들기도 한다. 미리 말해두자면 나는 AI가 정말 대단한 잠재력을 가지고 있으며 챗GPT 같은 AI가 그것을 현실화시키기 시작했다고 믿는다. 모든 기술이 그렇듯 이해없이 기술은 위험할 수 있고 AI도 마찬가지다. 하지만 무슨 신비의 알고리즘이 있어서 그것이 인간을 능가하고 의식을 가진 고도의 생명체같은 것을 만들어 낸다는 식의 비약은 옳지 않다. 그래서 나는 이 글에서는 왜 챗GPT 나아가 거대 언어 모델이 대단하면서도 한계를 가질 수 밖에 없는지에 대해 말해보려고 한다. 

 

우선 우리는 AI는 데이터를 학습해서 능력을 가지게 된다는 것을 기억해야 한다. 이 데이터는 정확한 규칙이 있는 게임에서는 규칙에 의해 무한정 만들어 질 수도 있지만 일반적으로는 수집해야 한다. 그리고 어떤 학습 알고리즘을 쓰던, 어떤 천재가 프로그램을 짜던 현재의 기계학습 패러다임안에서 중요한 정보는 전부 데이터에서 나온다. 다시 말해서 데이터에 존재하지 않는 것을 좋은 학습 알고리즘을 쓰면 배울 수 있는 것은 아니다. 물론 나쁜 알고리즘을 쓰면 데이터에 존재하는 규칙도 학습을 못할테지만 말이다. 

 

그러므로 챗GPT 나아가 거대 언어 모델(LLM)이라고 불리는 AI들의 장점도 한계도 상당부분이 데이터에서 나온다. LLM이 대단한 성과를 보이는 이유는 그것이 인간의 언어 텍스트를 가지고 훈련되었기 때문이다. 그리고 우리는 이 인간의 언어라는 것에 대해서 좀 더 섬세히 고민할 필요가 있다. 예를 들어 이제까지 텍스트로만 훈련되었던 LLM들이 앞으로는 이미지나 멀티미디어 데이터까지 함께 쓰면 얼마나 더 똑똑해 질까에 대해 과장된 예측을 하는 경우가 있다. 하지만 그것은 옳지 않다. 인간의 언어는 멀티미디어 데이터보다 훨씬 더 고급의 데이터이기 때문에 그 효과는 그렇게 크지 않을 것이다. 

 

예를 들어 여기 한국의 거리에 대한 사진들이 있다고 해보자. 그리고 한국 사람들이 거리에 대해서 쓴 말들이 있다고 해보자. 우리는 이 두 가지 데이터를 똑같은 위치에 놓고 양적으로 비교해서는 안된다. 인간의 언어는 이미 하나의 이론이다. 우리는 그것을 티코 브라헤 같은 천체학자가 관측한 하늘에 대한 관측 데이터와 뉴튼이 만든 고전역학 시스템과 비교하듯 봐야 한다. 학교를 다닌 사람이라면 누구나 아는 F=ma라는 뉴튼 방정식은 자연속의 수없이 많은 운동들을 설명할 수 있는 고전역학 시스템의 핵심에 있다. 다시 말해 아주 짧고 간결하게 정의할 수 있는 고전역학 시스템은 무한히 많은 운동들을 압축해서 설명하고 있는 것이다. 그러니까 양으로 보아 관측데이터가 10페이지가 있는데 고전역학 시스템도 10페이지 분량으로 정의 된다고 해서 이 두 개의 데이터가 같은 양의 정보를 가지고 있다고 알아서는 안된다는 것이다. 

 

인간의 언어는 인간이 경험하는 모든 것을 설명하려고 시도하는 하나의 형식적 시스템이다. 그것은 물론 수학이론이나 물리학이론처럼 엄격한 형식을 가진 시스템은 아니지만 그렇다고해서 그것이 그냥 인간이 경험한 것의 단순 나열은 아니다. 그러므로 인간의 언어 데이터를 학습한 AI는 엄청나게 많은 정보를 그 안에서 뽑아낼 수 있는 것이다. 그에 비하면 멀티미디어 데이터의 양이 인간의 언어 데이터보다 천배나 만배가 많다고 해도 그 안의 정보가 언어 데이터안에 있는 것보다 더 많다고 할 수 없다. 그러므로 단순히 양으로 판단해서 인간의 언어 데이터만 가지고도 이정도의 AI를 만들었는데 멀티미디어 데이터 몇십배의 데이터를 더 하면 엄청난 AI가 금방 만들어 질 것처럼 생각해서는 안된다. 

 

인간의 언어속에 있는 지식의 양은 그야말로 인간인 우리로서는 상상불가능할 정도로 엄청나다. 그러므로 그것을 전부 학습해서 쓸 수 있는 AI는 어떤 면에서 초인간적인 지능을 보일 수 있다. 그러나 우리는 언어속의 정보라는 것도 한계가 있다는 것을 알아야 한다. 서양인들은 잘 모르지만 적어도 동양인들은 이걸 잘 알고 있다. 동양인들은 예로부터 도니 불성이니 하는 신비적 개념을 통해 언어를 초월하는 진리가 존재한다는 가르침을 계속 받아왔기 때문이다. 예를 들어 2천년 이상전에 쓰여진 장자는 수레바퀴를 깍는 윤편이 책을 읽는 환공과 나누는 대화를 소개하고 있다. 윤편은 자신이 말로 자신이 아는 것을 가르치려고 했으나 그럴 수 없었다는 것을 알고 옛 사람이 남긴 책을 가르켜 옛 사람의 찌꺼기라고 말했던 것이다. 

 

뭔가 신비주의적인 도가 아니더라도 우리는 우리가 아는 것을 전부 말할 수 없다는 것을 알고 있다. 예를 들어 우리의 직감은 말로 적을 수 없다. 우리가 직감적으로 배우자의 현재 상태가 정상이 아니라는 것을 느꼈다고 해보자. 우리는 그것에 대해 논리적인 설명을 할 수 있다. 평상시보다 말소리가 작다던가, 손을 떠는 걸 본 적이 없는데 지금 그러고 있다던가 하는 식으로 말이다. 그러나 대개 직관에 대한 언어적 설명은 사후에 억지로 가져다 붙인 것에 불과하며 이런 설명을 듣는다고 다음부터는 우리도 쉽게 직감을 가질 수 있는게 아니다. 그래서 챗GPT는 인간만이 느낄 수 있는 직관적 느낌을 배울 수 없다. 왜냐면 데이터가 그걸 포함하고 있지 않기 때문이다. 우리가 그걸 언어로 적을 수 없는데 언어 데이터가 어떻게 직관에 대한 정보를 포함할 수 있겠는가? 다시 말하지만 데이터가 그걸 가지고 있지 않다면 어떤 신비의 알고리듬을 써도 AI는 그걸 배울 수 없다. 

 

이것은 결코 AI가 대단한 일을 할 수 없다는 게 아니다. 바둑 세계 챔피언을 이기는 AI는 분명 인간의 직관을 넘어서는 통찰력을 가진 것처럼 보일 때도 있다. 그러나 이는 바둑이라는 게임이 엄격한 규칙을 가진 형식적 시스템을 이루기 때문에 가능한 것이다. 경계가 허물어지고, 유동적인 시스템에서는 AI는 결국 인간이 만들어 낸 데이터를 통해서만 일을 배울 수 있고 인간은 스스로가 느끼는 것을 전부 데이터에 담을 수 없다. 따라서 인간과 AI는 결국 각자 잘하는 것이 다른 상황이 되는 것이지 금방 AI가 인간보다 더 모든 면에서 뛰어날 수 있는게 아니다. 이세돌은 알파고를 이길 수 없지만 나는 이길 수 있다. 나는 바둑돌을 바꿔치기 할 것이다. 알파고는 바둑의 규칙을 어길 수도 있다고 훈련받지 않았기 때문에 그런 경우 어떻게 해야 하는지 모를 것이다. 결국 바둑의 규칙에 얽매이는 알파고는 사기를 치는 나를 이길 수 없다. 이게 AI가 가지는 강점이자 단점이다. 

 

다시 말하지만 이것이 결코 AI가 대단한 일을 할 수 없으며 안 위험하다는 것이 아니다. 그러나 미디어를 보면 '인간처럼' 사고한다는 둥, '인간보다' 뛰어나다는 둥하는 이야기를 너무 쉽게하는 보도를 많이 본다. 그들은 마치 인간이 어떻게 사고하는지 아는 사람처럼 말한다. 인간의 뇌와 인간의 사고는 미지의 영역이며 특히 별로 공부도 안한 사람들이 야 이럼 인간같이 하는거 아냐라고 쉽게 말할 수 있는 분야가 아니다. 

 

인공지능의 역사를 보면 초기에는 AI에 대한 상징주의적  접근이 유행했다. 이는 말 그대로 인간이 프로그램이나 데이터의 형태로 지식을 컴퓨터에게 제공하면 컴퓨터가 인간같은 지능을 가질 수 있을 거라고 확신했다는 뜻이다. LLM에 대한 무시도 곤란하지만 그걸로 쉽게 이 지구상에서 몇억년을 진화해 성장한 인간을 모두 대체할 수 있는 새로운 생명체가 나타날거라고 생각하는 것도 곤란하다. 무슨 신비의 학습 알고리즘만 있으면 인간의 모든 능력이 추월당할 것처럼 생각하는 것도 곤란하다. 그건 오만이다. 생명의 힘을 과소평가해서도 곤란하다. 자동차와 내가 서로 경쟁관계가 아니듯 AI와 인간이 그렇게 경쟁관계가 아니다. 우리는 이러저러한게 인간이다라는 생각 자체앞에서 겸손할 필요가 있다.