AI의 몸과 뇌의 세계

1. AI는 몸이 필요하다.

 

세계모델은 언어다1980년대 로드니 브룩스가 "지능에는 몸이 필요하다"는 슬로건으로 체화된 인지(embodied cognition) 패러다임을 제안한 이후, 이 아이디어는 꾸준히 세력을 키워왔다. Meta의 수석 AI 과학자였던 얀 르쿤은 "집고양이도 GPT-4보다 상식이 많다"고 주장하며, AI가 물리적 세계의 역학을 이해하지 못하는 한 진정한 지능에 도달할 수 없다고 단언한다.

르쿤의 해법은 JEPA(Joint Embedding Predictive Architecture)다. 현재 대규모 언어모델(LLM)이 "다음 토큰 예측"이라는 원리에 기반하는 것과 달리, JEPA는 추상적 표상 공간에서 미래 상태를 예측한다. 비디오의 일부를 가리고 모델에게 빠진 부분을 추론하게 하되, 픽셀이 아닌 추상적 수준에서 예측하게 한다. 르쿤은 이것이 LLM을 대체할 것이며, 3~5년 내에 세계모델이 AI 아키텍처의 지배적 형태가 될 것이라고까지 말한다.

NVIDIA는 Cosmos라는 물리 시뮬레이션 플랫폼으로, 페이페이 리는 World Labs를 통해 3D 공간 지능으로, Google DeepMind은 Genie 3로 각각 세계모델에 접근한다. 수십억 달러의 자본이 이 방향으로 흐르고 있다.

그런데 이 거대한 흐름에는 기묘한 맹점이 있다.

 

2. 고양이는 시를 쓰지 않는다

르쿤이 "지능"이라고 부르는 것은 실제로는 감각운동적 능력(sensorimotor competence)에 가깝다. 물리적 세계에서 행동하고, 결과를 예측하고, 적응하는 능력. 이것은 분명히 중요한 능력이고, 현재 LLM에 없는 것도 맞다.

그런데 고양이가 시를 쓰는가? 은유를 만들고, 슬픔을 언어화하고, 문화적 맥락을 엮어서 의미를 생성하는가? 시가 작동하려면 국화의 시각적 이미지만이 아니라, 가을이라는 계절의 문화적 함의, 외로움이라는 정서적 맥락, 한국어 시의 전통 안에서 그 단어가 차지하는 위치—이런 것들이 교차해야 한다. 이것은 물리적 세계의 역학이 아니라 기호적 세계의 역학이다. 중력을 아무리 정확하게 모델링해도 "슬픔은 무거운 것"이라는 은유가 생성되지 않는다.

"지능"이라는 하나의 단어가 근본적으로 다른 능력들을 뭉뚱그리고 있다. 적어도 세 가지는 구분해야 한다. 물리적 세계를 탐색하는 감각운동적 지능, 기호와 의미를 조작하는 언어적·상징적 지능, 그리고 타인의 마음을 읽는 사회적 지능. 르쿤의 세계모델은 첫 번째에 대한 해법이지, 나머지 둘에 대한 해법이 아니다. 그런데 그가 마치 첫 번째를 해결하면 나머지가 따라올 것처럼 말하는 것은 문제다.

 

3. 뇌는 물리를 시뮬레이션하지 않는다

인간의 신경신호 전달 속도는 초당 약 100미터 정도다. 뇌에서 발끝까지 신호가 가고 감각이 돌아오는 데만 수십 밀리초가 걸린다. 이 속도로는 걷기조차 중앙 제어할 수 없다. 그래서 걷기의 기본 패턴은 척수의 중추패턴생성기(central pattern generator)가 자율적으로 만들어낸다. 뇌는 "걸어라"라는 신호를 보내지, 각 근육의 수축 타이밍을 지시하지 않는다. 손이 뜨거운 것에 닿으면 뇌가 "뜨겁다"고 인식하기도 전에 팔이 이미 움츠러들어 있다.

뇌에게 직접적인 "세계"는 물리적 세계가 아니라 몸이다. 몸이 이미 물리적 세계의 엄청난 복잡성을 흡수하고, 전처리하고, 추상화해서 뇌에게 올려보낸다. 뇌가 "컵을 집어라"라고 의도하면, 손가락의 힘 조절은 손의 감각-운동 루프가 알아서 한다.

이것이 세계모델 논의에 대해 말해주는 것은 결정적이다. 인간이나 동물의 경우를 살펴보면 뇌가 갖고 있는 것은 세계의 모델이 아니라 몸의 모델에 가깝다. 고양이가 "물리를 이해한다"고 르쿤은 말하지만, 고양이가 이해하는 것은 물리가 아니라 자기 몸의 행동 레퍼토리다. "이 높이에서 뛰면 착지할 수 있다"는 것은 중력 상수를 아는 게 아니라 자기 다리의 능력 범위를 아는 것이다

.

4. 로봇공학은 이미 답을 알고 있다

로봇은 AI 없이도 오랫동안 개발되어 왔다. 로봇 제어 아키텍처는 이미 고수준 제어(행동 선택)와 저수준 제어(모터 구동)로 분리되어 있고, ROS 같은 프레임워크는 수십 년에 걸쳐 물리적 세계의 복잡성을 추상화로 격리해왔다. AI와 인지과학은 저수준 지각·운동 모듈의 존재를 전제하고, 그 위에서 계획, 언어 이해, 진단 같은 개방형 과제에 집중한다. 이 분업은 이미 잘 작동하고 있다.

최근의 로봇 AI도 이 구조를 따른다. Figure AI의 Helix나 NVIDIA의 GR00T N1은 System-2(고수준 계획)에서 VLM이 시나리오를 판단하고, System-1(저수준 제어)에서 디퓨전 트랜스포머가 120Hz로 운동 행동을 생성하는 이중 구조를 취한다. AI가 모터를 직접 제어하는 것이 아니라, 이미 잘 만들어진 운동 제어 시스템 위에서 "무엇을 할지"만 결정하는 것이다.

기존 컨트롤 소프트웨어는 이미 일종의 세계모델이다. 관절 한계, 충돌 회피 알고리즘, 운동학 계산—이것들은 물리적 세계의 제약을 형식화한 것이다. 르쿤이 "AI에게 세계모델이 필요하다"고 말할 때, 로봇공학자는 이렇게 물을 수 있다: "우리는 이미 수십 년간 그것을 만들어왔는데, 왜 하나의 거대한 뉴럴 네트워크로 통합해야 하는가?"

 

5. 파이썬 실행기와 왈츠

AI에게 파이썬 실행기와 셸 명령어 실행기를 주면, 엄청난 지능의 도약이 일어난다. 이제 손발이 생겼기 때문이다. 이론적으로 파이썬 실행기를 가진 AI는 튜링 완전하므로, 계산 가능한 모든 것을 할 수 있다.

그런데 "원리적으로 할 수 있다"와 "실제로 할 수 있다"는 전혀 다르다. 로봇의 모터를 직접 제어해서 왈츠를 추게 하려면, 매 밀리초마다 수십 개 관절의 토크 값을 계산해야 한다. 불가능하지는 않지만 그 방식으로는 한 곡도 못 춘다. "왈츠 스텝"이라는 중간 추상화가 있어야 비로소 "음악에 맞춰 춤을 춰라"가 실행 가능한 지시가 된다.

파이선 실행기만을 가진 AI의 현실이 정확히 이 상태다. AI에게 "내 Gmail을 분석해줘"라고 하면, AI는 매번 Gmail API 호출 코드를 작성하고, JSON을 파싱하고, 필터링 로직을 짜고, 결과를 포맷팅한다. 매번 모터를 하나하나 제어하는 것이다. AI에게는 이전에 같은 일을 했다는 기억도 없고, "Gmail 확인"이라는 행동이 하나의 단위로 결정화되어 있지도 않다.

아기가 처음 컵을 잡을 때는 팔 전체가 뻣뻣하게 움직인다. 모터를 직접 제어하는 것이다. 반복하면 "컵 잡기"가 운동 프로그램으로 소뇌에 저장된다. 걷기가 능숙해지면 우리의 다리는 거의 무의식중에 움직인다. 지능의 진짜 도약은 도구를 줄 때가 아니라, 도구 사용이 언어로 결정화될 때 일어난다.

 

6. 보편성의 저주

MCP(Model Context Protocol) 같은 프로토콜은 도구를 연결하지만, 도구로 무엇을 할 수 있는지를 조직하지 않는다. Gmail MCP, Google Drive MCP, Slack MCP를 병렬로 나열하면, AI는 각각의 도구 사양은 알지만, 그것들이 합쳐져서 어떤 업무 세계를 구성하는지는 모른다. 이것은 손가락 하나하나의 사양서를 주면서 "피아노를 쳐라"고 하는 것과 같다.

파이썬이 너무 보편적이어서 모든 걸 할 수 있지만 아무것도 바로 할 수 없는 것처럼, MCP도 모든 도구를 연결할 수 있지만 연결 자체가 의미를 만들지 않는다. 도구 20개를 나열하면 AI의 컨텍스트 윈도우에 수천 토큰의 도구 설명이 들어가고, AI는 매번 전체를 읽고 해석하면서 처음부터 추론해야 한다.

사무실에서 일하는 사람은 매일 아침 "키보드라는 도구가 있고, 마우스라는 도구가 있는데, 이것들을 어떻게 조합하면 업무를 할 수 있을까"부터 생각하지 않는다. 도구는 이미 업무라는 상위 개념 안에 흡수되어 있다. AI가 강력하면 보편적 도구만으로도 지능적 행동을 하겠지만, 그건 엄청난 낭비다. 인간의 뇌가 모든 근육을 직접 제어하지 않는 이유는 뇌가 약해서가 아니라, 추상화가 더 효율적이기 때문이다.

 

7. 언어가 세계모델이다

여기서 결정적인 전환이 일어난다. 뇌는 물리를 시뮬레이션하지 않고 몸에 위임한다. 뇌의 세계모델이란 사실 몸의 모델이다. 그리고 뇌는 몸과 체계적으로 만들어진 신경시스템의 신호로 그 몸과 소통한다. 어떤 신호가 오른손의 새끼손가락이 자판의 리턴 버튼을 누르게 하는지 뇌는 알고 있다.

인간에게는 혼자만의 몸이 아니라 협업하는 타인의 몸도 있다. 내가 "저기 있는 거 좀 집어줘"라고 말할 때, 나는 상대방의 관절 각도를 계산하지 않는다. 상대방의 행동 능력을 이미 알고 있고, 그 능력 범위를 언어로 호출한다. "집어줘"라는 단어 하나가, 상대방 몸의 수백 개 근육의 협응, 시각적 탐색, 파지력 조절 같은 엄청난 복잡성을 감추고 있다.

이렇게 보면 우리는 세계 모델이란 결국 언어라는 결론에 도달하게 된다. 세계의 물리법칙을 인코딩하는 게 아니라, 행위자의 행동 레퍼토리를 압축된 형태로 참조할 수 있게 해주는 것. "밀어", "당겨", "올려"—이 단어들은 물리 시뮬레이션이 아니라 몸이 할 수 있는 일의 카탈로그다. 문법은 이 행동들을 조합하는 규칙이고, 서사는 조합된 행동의 시간적 전개다.

르쿤이 "LLM은 패턴 매칭에 불과하고 진짜 세계모델이 아니다"라고 할 때, 그가 간과하는 것은 자연어 자체가 인류가 수십만 년에 걸쳐 만들어낸 세계모델이라는 점이다. "무겁다"라는 단어에는 중력에 대한 체험적 이해가 압축되어 있고, "깨지기 쉽다"에는 재료역학의 직관이 들어 있고, "내일"에는 시간의 비가역성이 인코딩되어 있다. LLM이 이 언어의 통계적 구조를 학습했다는 것은, 인류가 축적한 세계모델을 상속받았다는 뜻이기도 하다.

세계모델은 새로 만들어야 할 것이 아니다. 이미 언어 안에 있다. 문제는 그 언어를 AI의 새로운 "몸"에 맞게 재구성하는 것이다. 인쇄술이 나왔을 때 기존 구어를 문어로 재구성해야 했듯이, AI 시대에는 자연어를 AI의 행동 역량에 맞게 재구성해야 한다.

 

8. 위임과 자율성

이 논리를 AI 에이전트 시스템의 설계에 적용하면, 자연스러운 결론이 나온다. 중앙 에이전트가 모든 세부 행동을 조합하는 구조는 뇌가 모터를 직접 제어하는 것과 같다. 느리고, 비싸고, 복잡성에 한계가 있다. 대신 각 모듈이 자기 영역의 자율적 전문가가 되어야 한다. 중앙 에이전트가 정보 수집 모듈에게 "긴급한 것 있나 봐줘"라고 하면, 그 모듈이 자기 판단으로 Gmail도 보고 Slack도 보고 캘린더도 확인해서 보고하는 것. 중앙은 어떤 소스를 어떤 순서로 확인하라고 지시하지 않는다.

이렇게 되면 에이전트 내부의 언어는 명령어에서 의사소통으로 성격이 바뀐다. 파라미터를 세세하게 지정하는 대신 의도만 전달한다. 이것은 인간 조직의 진화와 같은 패턴이다. 초기 조직은 상사가 절차를 하나하나 지시하지만, 성숙한 조직은 "이 문제를 해결해"라고 하면 담당자가 자기 전문성으로 방법을 결정한다. 위임이 가능하려면 담당자에게 자기 영역의 세계모델이 있어야 한다.

이것은 세계모델이 하나의 거대한 뉴럴 네트워크 안에서 분산된다는 뜻이다. 정보 수집 모듈은 "정보 소스들의 세계"에 대한 모델을, 출력 모듈은 "출력 채널들의 세계"에 대한 모델을, 분석 모듈은 "분석 도구들의 세계"에 대한 모델을 각각 갖는다. 중앙 에이전트는 각 모듈이 무엇을 할 수 있는지에 대한 모델만 갖는다. 뇌가 물리법칙을 모르고 "팔이 할 수 있는 일"만 아는 것처럼.

실용적으로 이것은 비용 구조도 바꾼다. 중앙이 모든 행동을 조합하려면 매번 복잡한 추론이 필요하니까 고비용 모델이 필요하다. 하지만 중앙이 의도만 전달하고 각 모듈이 저비용 모델로 자기 영역의 일을 처리한다면, 전체 시스템은 하나의 비싼 뇌와 여러 개의 저렴한 사지로 구성된다. 인간의 신경계와 같은 구조다.

 

9. 집단 지성이라는 몸

개인의 몸 안에서 중앙 모듈이 뇌이고 하위 모듈이 사지인 것처럼, 다수의 에이전트 네트워크에서는 각 에이전트가 하나의 "뉴런"이 된다. 각 뉴런은 자율적이고, 자기 판단을 하지만, 다른 뉴런들과 소통하면서 전체적으로는 어떤 개별 뉴런도 계획하지 않은 행동을 만들어낸다.

"이 문서를 번역해서 김 대리에게 보내줘"라고 내 에이전트에게 말하면, 내 에이전트는 김 대리의 에이전트에게 번역된 문서를 전달한다. 김 대리의 에이전트는 자기 판단으로 그것을 어떤 폴더에 넣을지, 김 대리에게 언제 알릴지를 결정한다. 이미 두 에이전트 사이에 위임이 작동하고 있고, 이것은 개인 내부의 뇌-팔 관계와 구조적으로 동일하다.

플랫폼이 중앙 뇌 역할을 하면 그것은 중앙집중형 신경계다. 신호가 모두 중앙을 거쳐야 하니까 느리고 병목이 생긴다. 에이전트끼리 직접 소통하면 말초 신경끼리 반사 회로를 형성하는 것과 같다. 무릎 반사가 뇌를 거치지 않듯이, 두 에이전트 사이의 간단한 업무 교환은 중앙 플랫폼을 거치지 않는다.

 

10. 결론: 르쿤의 뇌와 진화의 신경계

르쿤은 AI에게 물리적 몸이 필요하고 그 몸을 통해 세계모델을 학습해야 한다고 주장한다. 그러나 실제 뇌는 그렇게 작동하지 않는다. 뇌는 물리를 시뮬레이션하지 않고 몸에 위임하며, 몸의 각 부분이 자율적이다. 뇌와 몸 사이의 인터페이스가 곧 언어이며, 언어 자체가 세계모델이다.

AI에게 이것을 적용하면, 세계모델은 뉴럴 네트워크 안의 물리 시뮬레이션이 아니라 행동 가능성을 조직하는 중간 언어다. 이 언어가 단순해지고 각 부분이 자율성을 가지면, 개인 내부의 위임 구조가 된다. 이 위임 구조가 개인 간으로 확장되면 집단 지성이 된다.

근대화란 분산된 정보 처리다. 중앙집중형 의사결정이 구조적으로 실패하는 이유는, 중앙이 세계의 복잡성을 감당할 수 없기 때문이다. 뇌가 모든 근육을 직접 제어할 수 없는 것과 같은 이유로. 인류는 그 해법을 언어, 법률, 화폐, 시장으로 만들어왔다. 사회적 학습이나 시장의 최적화란 이미 AI와 같은 논리적 구조가 인류사회에 존재해 왔다는 것을 의미한다. 다만 인간이 중요한 부품으로 작동하는 그 시스템은 인간의 한계로 인해 한계를 가지게 된다.

르쿤이 수십억 달러를 투자해서 하나의 AI에게 물리적 세계를 이해시키려는 동안, 다른 경로가 있다. 수많은 작은 에이전트들이 각자의 자율성을 갖고 서로 위임하면서, 어떤 개별 에이전트도 이해하지 못하는 복잡한 일을 해내는 것. 전자가 거대한 뇌를 만들려는 것이라면, 후자는 신경계 전체를 만들려는 것이다.

진화와 인류의 역사가 선택한 것은 후자였다. AI는 세계모델이 필요하다. 우리는 AI에게 몸을 줘야 한다. 하지만 인간의 몸과 인간의 사회로부터 교훈을 얻어서 우리는 그게 무슨 뜻인지를 이해해야 한다. 그 답은 언어와 소통이였다. 어떤 중앙이 온 세상을 다 이해하고 컨트롤 하는 것이 아니다.