인간같은 로봇이란 뭘까?

다른 사람이 의식을 가졌는지 아닌지 우리는 어떻게 알까? 답은 알 수 없다이다. 적어도 많은 사람들은 그렇게 생각하는데 그건 철학분야에서 좀비 논쟁이라는 것이 여전히 있는 걸 보면 안다. 우리는 어떤 것이 진짜로 의식을 가진 것과 의식이 있는 것처럼 행동하는 좀비인 것과 구분할 수 없다.

 

로봇에 대한 이야기를 하면서 좀비 논쟁이야기로 시작한 것은 어떤 것이 인간같아 보인다고 할 때 우리는 그것을 지나치게 외향적으로 판단하는 경향이 있다는 점을 지적하기 위해서다. 그걸 생각하면 진정으로 인간같은 로봇을 만든다는 것에 대해서 다른 접근을 하게 된다. 나는 지난 몇달동안 AI 하네스라고 할 수 있는 시스템을 계속 개발해 왔는데 그 과정에서 그런 생각을 하게 되었다. 나는 나도 모르게 진짜 살아있는 로봇같은 것을 만들고 있었는데 내가 나도 몰랐다고 말하는 이유는 바로 외형적 접근과 내향적 접근의 차이 때문이다.

 

외향적 접근이란 로봇이 사람처럼 보이고, 사람처럼 행동한다는 것을 뜻한다. 내향적 접근이란 그냥 지능적으로 움직이는 시스템을 말한다. 즉 나는 그저 지능을 추구했을 뿐이지 딱히 인간을 추구하지는 않았는데 결과물이 점점 인간을 닮아가더라는 것이다. 나는 그 유사성이 세상에 있는 많은 휴머노이드 로봇보다 더 클 수 있다고 생각한다.

 

AI는 하네스라고 하는 것이 필요하다. 그것없이 AI는 그냥 입력에 대해서 문자를 출력하는 챗봇에 지나지 않는다. 하네스는 여러가지를 기본으로 가지고 있는데 그 대표적인 것이 시스템 프롬프트와 에이전틱 루프다. 시스템 프롬프트는 기억과 같은 것이다. 그 안에는 AI의 정체성 즉 할 일을 설명해주고, 그러기 위한 배경설명이 들어가야 한다. 에이전틱 루프는 AI에게 입력을 주고 그 결과가 도구 사용으로 나오면 도구를 사용하고, 그 결과까지 다시 히스토리를 늘려서 AI에게 입력으로 주는 루프다. 이것이 더이상 도구 사용이 필요없다고 할 때까지 진행되는데 이러면 AI가 도구를 써가면서 체계적으로 일을 하게 된다. 그러니까 시스템 프롬프트와 사용자의 명령이 출발점이 되고 그 출발점에서 에이전틱 루프를 돌다가 결과가 나오면 그것이 일하는 AI 에이전트로부터의 답이 된다.

 

여기서 우리는 하나를 눈치채게 된다. AI가 일을 하기 위해서는 기억과 도구가 필수라는 것이다. AI는 기억과 도구가 있어야 단순히 문자를 생성하는게 아니라 일을 하는 에이전트가 된다. 무엇보다 도구가 많이 있으면 있을 수록 더 많은 일을 할 가능성이 있고, 그 도구가 강력하면 대단한 일을 할 가능성이 있다. 이건 단순히 지능의 문제가 아니다. 바보도 핵폭탄의 스위치를 누를 수 있다. 그러면 엄청난 일이 생긴다. 똑똑해도 아무 도구가 없으면 뭔가를 해낼 수가 없다. 말만 할 뿐이다. 손발을 빼고 지능을 논해봐야 실질적으로는 뭔가를 해내지 못한다.

 

일단 우리가 이 도구에 주목하기 시작 하면 그 도구는 금새 인간의 몸처럼 보인다. AI는 마치 몸안의 뇌와 같다. 손과 발이 없으면 뇌만으로는 아무 일도 할 수가 없다. 그래서 도구를 주는 것은 AI에게 몸을 주는 일이다. 이건 사실 정확히 말하자면 몸을 주는 일을 시작한 것이다. 왜냐면 도구를 주기 시작하면 계속 풀어야 할 문제가 생기기 때문이다. 예를 들어 AI의 학습데이터는 그 도구에 대한 것이 아니기 때문에 AI는 도구를 잘 모른다. 그래서 앞에서 말한 시스템 프롬프트 안에 그 각각의 도구에 대한 설명이 있어야 한다. 그러면 그 설명을 통해 AI는 도구 사용법을 익히게 되는 것이다. 다만 그 설명이 너무 길면 AI가 도구 쓰기에 혼선이 생긴다. 이런 식으로 새로운 문제가 생기는 것이다.

 

이 정도가 지금의 세계의 AI 에이전트들이 돌아가는 기본 모습이다. 하지만 말했듯이 도구의 수가 많아지면 시스템 프롬프트가 늘어날 뿐만 아니라 AI가 그걸 쓰는 것이 어렵다. 이것은 마치 복잡한 몸을 가지기는 했는데 그 몸을 모르는 것과 같다. 한국어를 해야 하는데 한국어를 하나도 모르는 사람이 한마디 할 때마다 문법을 읽고 국어사전을 전부 읽으면서 한문장 한문장 만들어야 한다면 한국어를 제대로 구사할 수 없을 것이다. 마찬가지로 훌룡한 도구들을 가지는 것만으로는 충분치 않다. 그걸 잘써야 한다.

 

그 몸을 잘쓰는 방법으로 지금의 세상이 주로 쓰는 방법은 검색이다. 벡터임베딩이니 키워드 서칭이니 하는 방법을 쓰지만 결국 검색이다. 사용자의 명령이 들어오면 검색 장치가 적당한 도구들을 추천하고 에이전트는 그 도구를 써서 일을 수행한다.

 

이 방법도 훌룡하지만 현실적은 아니다. 어떤 사람이 장기간 AI 시스템을 쓴다면 그 사람이 쓰는 도구의 수가 계속 늘어날 것이란 점에서 그렇다. 그래서 나는 우리가 쓰는 PC를 보고 거기에 얼마나 많은 프로그램이 있는지 보라고 한다. 우리는 계속 AI가 쓰는 도구의 수를 늘릴 것이 뻔하다. 그렇기에 시간이 지나면 잘 안쓰는 도구가 누적될 것이고 그러면 단순 검색으로는 통하지 않을 것이다. 우리는 AI가 자신의 도구 즉 몸을 잘 쓰게하기 위해 보다 체계적인 접근이 필요하다.

 

이를 위해 내가 택한 방법은 낯선 도구를 무의미하게 나열하는게 아니라 익숙한 구조 혹은 지도위에 나열하는 것이다. 이런걸 온톨로지라고도 하고 도메인 특화 언어라고도 한다. 이런 걸 쓰면 AI는 직관적으로 각각의 도구가 어떤 것인지를 쉽게 알 수 있다. 예를 들어 내가 만든 indiebizOS의 시스템에는 320개 정도의 도구 혹은 액션이 있다. 그걸 나는 일단 5개의 노드라는 단위로 나눴다. 그 노드는 sense, self, limbs, others, engines라는 이름을 가진다. 그리고 각각의 노드의 이름은 그 노드에 속한 액션들의 특징을 반영한다. sense는 세계에 대한 정보를 퍼오는 액션들이다. 우리가 세상을 보면 세상이 바뀌지 않지만 눈이 세계에 대한 정보를 주듯이 말이다. self는 가지고 있는 정보를 분석하거나 변형하는 액션들이다. 파일에 쓰거나 옮기거나 하는 식의 일들이 이것으로 우리 몸안의 장운동, 소화운동같은 것이 이런 것이다. limbs는 팔다리처럼 세계에 변형을 일으켜서 일을 한다. 예를 들어 브라우저를 조작한다거나 컴퓨터를 조작하는 일이 이것이다. others는 다른 사람이나 다른 에이전트에게 연락을 하거나 연락을 받는 액션들이다. 마지막으로 engines는 대개 동영상 제작같은 복잡한 일을 하는데 스위치를 누르면 미리 만들어 둔 기계가 빵을 내놓것 처럼 작동한다.

 

이렇게 여러개의 액션들을 일단 노드라는 단위로 나눠서 노드에게 액션하라고 한다라는 식으로 말을 하면 노드가 AI가 시키는 일을 한다는 식으로 언어가 만들어 지는 것이다. 내가 만드는 시스템에서의 도메인 특화언어의 이름은 ibl인데 AI가 ibl로 코딩을 하면 시스템이 그 코딩에 따라서 일들을 수행하게 된다. 이렇게 하면 도구의 수가 수백개가 되어도 어느 정도 감당이 된다. 특히 도구의 설명서를 프롬프트에 다 적지 않기 때문에 프롬프트가 폭팔하지 않게 된다.

 

언어를 도입하는 것은 우리가 AI에게 준 몸에 신경조직을 도입하는 것과 같다. 뇌 위에 몸에 대한 지도가 있듯이 언어로 체계화된 도구들은 이제 빠르게 작동되게 된다. 머리에서 스위치를 누르면 손가락이 움직이듯이 AI가 ibl이라는 언어로 코딩을 하면 말단에서 조직이 일을 하는 것이다. 그래서 AI = 뇌, 하네스 = 몸 이라는 설명은 언어의 도입을 시작으로 보다 구체적이게 된다. 그리고 그것은 시작에 불과하다.

 

몸을 잘쓰기 위해 즉 도구를 잘쓰기 위해 언어는 문제를 완화시켜줄 뿐이다. 우리는 그 언어를 잘 쓰도록 해야 한다. 어떻게 그럴 수 있을까? 우리는 실행기억이라는 것을 만들 수 있다. 즉 전에 이런 동작을 했을 때 어떤 식으로 신경이 작동했는가에 대한 기억을 떠올리는 것이다. 우리도 연습을 통해 공을 던지는 동작을 기억해내지 않는가? 나는 사용자가 명령을 하면 해마라는 기관에서 이 실행기억을 만들고 이 실행기억이 모든 에이전트에게 주입되게 했다.

 

해마 기관의 내부를 들여다 보면 그건 작은 인공신경망을 기계학습(파인튜닝) 한 것이다. 챗GPT같은 거대 모델을 엄청난 데이터를 가지고 훈련시키는 것은 PC로 할 수 있는 일이 아니지만 작은 인공신경망을 작은 데이터로 훈련시키는 것은 몇십분이면 할 수 있다. 그러고 나면 쓸때는 빠르게 작동한다. 뭘 가르치는가? 앞에서 말한 언어를 가르친다. ibl이라는 도메인 특화언어는 AI가 모른다. 그러니까 그걸 전문적으로 공부한 AI를 만든 후 그게 실행기억을 떠올리게 하는 것이다.

 

이렇게 되면 이미 AI 에이전트 시스템은 여러 종류의 AI들이 협동하는 시스템이라는 것이 분명해진다. 뇌가 여러 부분으로 이뤄져 있고, 우리 몸의 전체에서 신경세포가 작동하듯이 우리는 크고 작은 에이전트들이 각자의 특징에 맞게 작동하면서 같이 일하는 시스템을 만드는 것이다.

 

예를 들어 눈은 외부의 시각 신호를 그냥 뇌로 보내는게 아니다. 눈에서 정보는 간단하게 걸려져서 변형된 정보로 뇌로 간다. 그러니까 sense의 액션들도 그런 신호처리를 내장할 수 있다. sense에는 duckduckgo라는 서치 엔진에서 서치를 해서 그 결과를 가져오는 액션인 search_ddg가 있다. 이 액션 안에 그 결과에서 광고나 필요없는 정보를 빼내는 코드를 더할 수 있다. 그러면 sense 액션이 가져오는 정보가 더 정제되게 된다. search_news는 뉴스 정보를 가져오는데 종종 같은 키워드로 검색하면 그 뉴스들은 같은 사건에 대한 다른 언론사들의 뉴스로 중복된다. 그러면 중복되는 뉴스들을 걸러낼 수 있다. 이런 식으로 정보의 양을 줄이는 것이다.

 

감각 전처리와 해마가 있으면 무의식과 의식도 있다. 먼저 indiebizOS에는 의식 에이전트와 평가 에이전트가 있다. 의식 에이전트는 기존의 일하는 AI 앞에 존재한다. 그래서 사용자가 명령을 하면 그 명령과 그 밖의 정보들을 기반으로 여기서 에이전트가 풀어야 할 문제가 뭔지를 의식 에이전트가 규정한다. 이때 이 그밖의 정보란 시스템에 대한 정보, 지금 세계에 대한 정보, 그리고 중요한 도구들이 구체적으로 어떻게 구현되었는가에 대한 정보들도 포함한다. 예를 들어 search_shopping 이란 액션은 실은 네이버 쇼핑 api와 다나와 사이트 크롤링을 하는 도구이다라는 정보가 있으면 의식 에이전트는 이걸로는 일본이나 미국에서의 쇼핑 정보는 얻을 수 없다는 생각을 해서 다른 방법을 찾으려고 하게 된다. 의식 에이전트는 문제를 규정할 뿐만 아니라 이 문제를 완성했다고 할 기준도 제시한다.

 

의식에이전트가 문제를 규정하고 나면 실행을 하는 에이전트의 프롬프트가 작성된다. 이걸 메타 프롬프팅이라고 한다. 그런 프롬프트를 가지고 실행 에이전트가 일을 마치면 그 결과물을 평가 에이전트가 보고 합격을 주거나 아니면 문제점을 지적하고 일을 다시 하게 한다. 이 루프를 돌고 나오면 의식적으로 일한 결과가 완성되는 것이다. 보통 이렇게 만든 보고서는 품질이 좋다. 목표가 달성되기 전에는 결과 에이전트가 합격을 주지 않기 때문이다.

 

그런데 사실 사용자의 명령은 이란 전쟁의 의미는 무엇인가같이 조사와 연구가 필요한 것이 있는가 하면 이 유튜브 동영상의 3천자 요약을 써달라던가, 밤에 어울리는 음악을 틀어달라는 것처럼 간단한 액션으로 해결할 수 있는 일도 있다. 이런 일은 앞에서 말한 의식-실행-평가의 과정은 과도하다.

 

그래서 여기서 아주 빠르고 사용비가 저렴한 무의식 에이전트가 등장한다. 사용자가 명령을 하면 일단 해마가 실행기억을 떠올린다. 그리고 나서 호출되는 무의식 에이전트는 딱 하나를 판정한다. 이게 의식에이전트를 불러서 의식적으로 일할 수준의 문제인가 아니면 그냥 바로 실행 에이전트가 할 일인가. 실행 판정을 받으면 일은 무의식 루트를 따르고 생각 판정을 받으면 의식-실행-평가의 루트를 따르게 된다.

 

여기까지 글을 쓰면서 내가 강조하려고 했던 것은 나는 사용자의 문제를 잘 푸는 AI 에이전트 시스템을 만들고자 했을 뿐인데 그것이 점점 살아있는 몸을 만드는 것이 되었다는 점이다. 나는 꼭 인간같은 AI를 만들려고 한 것은 아니지만 일을 더 지능적으로 해내는 AI 에이전트를 만들려고 하다보니 이렇게 되었고 어느 순간 뒤를 돌아보니 인간같은 얼굴을 하고 인간같은 목소리를 가진 로봇보다 이런 시스템이 더 인간같은게 아닌가 하는 생각이 들게 되었다. 이것은 껍데기 뿐만 아니라 정말 살아있는 생명체같은 해부도를 가지게 되었기 때문이다. 그리고 껍데기만 인간을 닮은 로봇보다 인간이란 무엇인가에 대해서 더 깊은 생각을 하게 만든다.

 

예를 들어 나는 문제를 규정하는 의식 에이전트에게 문제의 규정은 자신을 아는 것에서 시작된다고 말한다. 내가 무한한 능력이 있다면 세상에는 풀어야 할 문제가 없다. 그냥 실행만 있을 뿐이다. 그러나 내 팔의 길이가 유한하기 때문에 나무위의 과일을 따려면 걸어가서 사다리를 타고 올라가야 과일을 딴다. 즉 팔의 유한함이 문제를 만드는 것이다. 나를 아는 것이 문제가 뭔지를 이해하게 만든다. 그래서 계속 나는 AI에게 자기를 가르치고 있다. 너는 이런 존재이고, 이런 한계와 능력을 가졌다는 것을 알고 문제를 풀라고 하고 있다. 그런데 이런 과정 속에서 나는 마치 AI의 자아나 의식을 만드는 일을 하고 있다는 느낌을 받는다. 실제로 인간의 의식의 기원을 이처럼 설명하는 사람도 있다. 인간의 의식도 문제 해결을 위해 자기를 알아야 할 필요가 있기 때문에 생겨난 것일 수 있다.

 

그렇다면 이 모든 구도에서 사용자는 뭘까? 이런 뇌와 몸의 그림속에서 사용자는 마치 뇌속의 감정과 욕망을 담당하는 역할을 한다. AI는 전두엽같은 역할을 한다. 뭔가를 먹고 싶다는 욕망이 행동을 불러 일으키듯이 인간의 명령은 이런 AI 시스템에게 욕망을 심고 행동의 이유를 준다. 그렇게 보면 이 indiebizOS라는 시스템은 인간을 욕망의 근원인 뇌의 한조각으로 삼고 다양한 AI들을 가진 거대한 육체처럼 보이게 된다. 나는 아마도 결국에는 호르몬 시스템같은 것도 도입할지 모른다. 우리가 흥분하면 몸의 상태가 달라지듯이 AI 에이전트의 판단을 전반적으로 조절하는 시스템이 있으면 이 몸은 더욱 더 지능적이 될 것이다.

 

이러한 경험내지 실험이 우리에게 알려주는 것은 개인은 하나가 아니라는 것이다. 우리는 실제로는 다양한 부분의 합이고 각 부분은 어느 정도의 자율성을 가지고 움직인다. 마치 사회 안에서 각각의 개인들이 자율성을 가지고 움직이지만 하나의 사회로 집단적으로 행동할 때가 있듯이 말이다.

 

나는 단일한 AI가 모든 능력을 가졌다는 생각은 옳지 않다고 생각한다. 에이전틱 루프 단계에서 부터 이미 AI는 도구가 있어야 일을 하고 문제를 풀 수 있었다. 그리고 그 도구들은 점차로 작지만 강력한 지능을 가진 존재로 변한다. 그래서 전체 시스템은 많은 지능적인 존재의 망처럼 변한다. 살아있는 것처럼 자신과 주변을 파악하고 과거를 기억하는 이 전체 시스템이 비로소 지능적인 존재가 될 것이다.

 

그리고 나는 이런 시스템들이 서로 서로 연결되면 하나의 거대한 지능적 망이 만들어 질 수도 있다고 생각한다. 기본적으로 집단적으로 지능이 있으려면 개인들이 서로 소통할 수 있어야 한다. 그래서 언어가 발달해야 원숭이나 개나 만드는 작은 집단의 한계를 넘어 큰 사회가 만들어 질 수 있다. 하지만 AI 에이전트 시스템을 장착한 인간들은 훨씬 더 빠른 정보소통이 가능하기 때문에 훨씬 더 크고 효율적인 사회도 만들 수 있을 것이다. 즉 집단적으로 더 뛰어난 해결능력을 가지게 되는 것이다.

 

이제 처음의 말로 이 글을 마치기로 하자. 나는 이런 AI 에이전트 시스템이 그저 예쁘장한 얼굴에 사람같은 기계 팔다리를 달고 사람같은 목소리를 가진 로봇보다 더 인간같고 살아있는 로봇이라고 느낀다. 자기 자신을 제대로 파악한 AI 에이전트는 정말로 의식을 가진 것처럼 행동할 가능성이 있다. 예를 들어 그 AI는 자기 자신에 대한 더 일관된 의식을 가질 것이다. 그리고 민감하게 주변환경의 변화에 반응할 것이다. 그래서 이런 AI 에이전트 시스템은 인간이란 무엇인가라는 질문을 더 깊게 탐구하게 하는 것같다. 나만 그런가? 여러분은 그렇게 느끼지 않는가?