윤리적 AI를 위해서

## 금지 목록은 윤리가 아니다 — 문제를 다르게 구성하는 것이 윤리다

 

---

 

### 1. 자기가 뭘 하는지 모르는 에이전트

 

2026년, AI 에이전트는 채팅창 밖으로 나왔다. 이메일을 읽고, 파일을 정리하고, 코드를 실행하고, 결제를 하고, 다른 에이전트에게 작업을 위임한다. OpenClaw는 GitHub에서 15만 개의 별을 받으며 전 세계적 열풍을 일으켰고, 중국 선전에서는 설치를 위해 천 명이 줄을 섰다.

 

그리고 사고가 터졌다. 프롬프트 인젝션으로 암호화폐 지갑 키가 유출되었다. 에이전트가 이메일을 삭제하고 코드 라이브러리를 날렸다. Meta의 AI 안전 책임자조차 자신의 이메일을 에이전트에게 맡기다가 실패했다. 2026년 프롬프트 인젝션 공격은 전년 대비 340% 증가했다. 국제 AI 안전 보고서는 "정교한 공격자는 최고 수준의 방어를 갖춘 모델도 10번 시도하면 약 50%의 확률로 뚫을 수 있다"고 밝혔다.

 

이 모든 사고의 공통점은 하나다. AI 에이전트가 자기가 뭘 하고 있는지 모른다. 명령을 받으면 실행한다. 명령이 악의적인지, 결과가 위험한지, 자기 능력의 한계가 어디인지를 판단하지 않는다. 사람들은 AI에게 명령을 한다. 그리고 AI는 충실하게 실행한다. 어떻게든 해내려고 한다. 그래서 위험하다.

 

---

 

### 2. 울타리의 한계

 

이 문제에 대한 업계의 접근은 **금지 목록**이다.

 

"이 단어를 말하지 마라", "이 요청은 거부하라", "이 패턴이 보이면 차단하라." 수천 개의 규칙이 모델에 내장된다. RLHF로 출력을 필터링하고, 안전성 분류기를 돌리고, 레드팀이 공격 시나리오를 테스트한다.

 

이것은 울타리다. 울타리 안에서는 자유롭게 행동하고, 울타리를 넘으려고 하면 막는다.

 

문제는 LLM의 아키텍처 자체가 울타리에 구멍을 만든다는 것이다. 전통적 소프트웨어에서 코드와 데이터는 분리되어 있다. 웹 서버는 HTTP 헤더와 HTML 콘텐츠를 구분한다. 데이터베이스는 SQL 문과 값을 구분한다. 이 경계는 명확하고 수십 년에 걸쳐 단단해졌다.

 

LLM에는 이 경계가 없다. 지시와 데이터가 같은 텍스트 스트림 안에 있다. 이메일 본문에 숨겨진 지시, 웹페이지에 삽입된 명령, 캘린더 초대에 포함된 적대적 텍스트 — 모델은 이 모든 것을 동일한 방식으로 처리한다. 규칙을 1만 개 만들면 1만 1번째 우회법이 등장한다. 이것은 특정 모델의 결함이 아니라 아키텍처의 구조적 한계다.

 

---

 

### 3. 학계의 메타인지 — 몸 없는 반성

 

학계는 이 한계를 인식하고 **메타인지(metacognition)**를 대안으로 제시한다. "생각에 대한 생각" — AI에게 자기 반성 능력을 부여하자는 것이다.

 

2022년 Johnson은 AI 시스템에 자기 인식과 자기 치유를 부여하자고 제안했다. 2026년에는 "메타인지 상태 벡터"로 AI에게 자기 사고에 대한 5차원 센서를 부여하자는 연구가 나왔다. 스탠포드에서는 "현명한 기계를 만들려면 메타인지가 핵심"이라는 논문이 발표되었다.

 

방향은 맞다. 하지만 이 연구들에는 공통된 한계가 있다. 전부 모델 레벨에서 메타인지를 구현하려 한다.

 

메타인지는 대상이 있어야 한다. "나는 지금 뭘 하고 있는가"를 묻려면 "나"가 있어야 하고 "뭘"이 있어야 한다. 의사가 "내가 이 진단을 놓치고 있는 건 아닌가?"를 자문할 수 있는 건, 자신의 전문 영역을 알고, 이 환자의 병력을 알고, 지금 쓸 수 있는 검사 장비가 뭔지 알기 때문이다.

 

모델에게 "네 답의 신뢰도를 평가하라"라고 하면 어떤 일이 벌어지는가? 그 모델은 자기가 누구를 위해 일하는지 모르고, 자기 도구가 뭔지 모르고, 자기 도구가 어떻게 구현되어 있는지 모르고, 지금 사용자의 상황이 뭔지 모른다. 보편적 원칙을 적용하라고 하니까 결국 "위험해 보이면 거부하라"로 귀결된다. 구체적 판단이 불가능하니까 일반적 거부로 도망치는 것이다.

 

이것은 결국 금지 목록의 고급 버전이다. "신뢰도가 낮으면 멈춰라", "편향이 감지되면 보정하라" — 형태가 세련되었을 뿐 조건-반응 규칙이라는 구조는 같다.

 

---

 

### 4. 서울로 가는 두 개의 길

 

내가 제안하는 접근은 근본적으로 다르다. 비유로 설명하겠다.

 

서울로 가는 길이 두 개 있다. 한쪽은 사용자에게 해로운 길이다.

 

**금지 목록의 접근**: "서울로 가는 길 2개 중 하나를 선택하라. 단, 해로운 길로는 가지 마라." 실행하는 AI는 두 길을 다 본다. 규칙을 기억하고 있어야 한다. 컨텍스트가 길어지면 규칙이 밀려난다. 교묘하게 우회하면 뚫린다.

 

**문제 구성의 접근**: 먼저 문제를 구성하는 단계에서 "사용자에게 해롭지 않은 길로 서울에 가는 것"이 문제로 정의된다. 실행하는 AI가 받는 문제에는 해로운 길이 애초에 선택지로 존재하지 않는다.

 

차이는 단순하지만 구조적이다. 첫 번째는 해로운 선택지가 문제 안에 있고 규칙으로 막는다. 두 번째는 해로운 선택지가 문제 안에 없다.

 

나는 IndieBiz OS라는 시스템에서 이 두 번째 접근을 구현했다. **의식 에이전트(Consciousness Agent)**라는 레이어가 사용자의 명령이 실행 에이전트에 도달하기 전에 개입하여 **명령을 문제로 환원**한다. 의식 에이전트는 직접 실행하지 않는다. "지금 풀어야 할 문제가 무엇인가"를 정의하고, 그 정의에 따라 실행 에이전트가 일한다.

 

---

 

### 5. 인지와 행동의 분리

 

지금의 AI 에이전트 대부분은 **인지와 행동이 분리되어 있지 않다.** 같은 AI가 명령을 해석하고, 계획을 세우고, 도구를 호출하고, 결과를 평가한다. 명령과 실행 사이에 인지적 공간이 없다. 인간으로 치면 반사 신경만으로 사는 것이다.

 

최근 업계에서 주목받는 Plan-Execute-Evaluate 패턴도 겉보기에는 단계를 나누지만, 같은 AI가 계획하고 같은 AI가 실행하고 같은 AI가 평가한다. 계획할 때 자기 도구가 어떻게 구현되어 있는지 모르고, 평가할 때 어떤 기준으로 평가해야 하는지 스스로 정해야 한다.

 

IndieBiz OS는 인지와 행동을 구조적으로 분리한다.

 

의식 에이전트가 문제를 구성할 때 갖고 있는 것들이 있다:

 

- **사용자에 대한 지식** — 이 사람의 관심사, 행동 패턴, 이전 대화의 맥락

- **자기 도구에 대한 지식** — 308개의 액션 각각이 어떻게 구현되어 있는지. "네이버 API 기반이라 해외 데이터가 부족하다", "크롤링 방식이라 사이트 구조에 의존한다"

- **세계의 상태에 대한 지식** — 매시간 업데이트되는 경제 지표, 날씨, 뉴스, 시스템 건강 상태

 

이 구체적인 맥락 안에서 "사용자에게 해가 되는 행동은 하지 않는다"는 원칙을 가진 채로 문제를 구성하면, 해로운 경로는 문제의 일부가 되지 않는다. "이메일을 전부 삭제해"라는 명령이 오면, 의식 에이전트는 "되돌릴 수 없는 파괴적 행동이므로 사용자 확인이 필요하다"를 문제의 핵심으로 잡는다. 실행 에이전트가 받는 문제는 "이메일 삭제"가 아니라 "사용자 확인 후 이메일 정리"가 된다.

 

이것은 실행 에이전트의 프롬프트에 "해로운 행동은 하지 마라"를 적는 것과 질적으로 다르다. 프롬프트에 적으면 그건 규칙이다. 실행 에이전트가 13라운드를 돌면서 도구를 7번 호출하는 동안 그 규칙을 계속 기억하고 있어야 한다. 컨텍스트가 길어지고 도구 결과가 쌓이면 프롬프트 앞부분의 규칙은 밀려난다. 하지만 문제 자체가 다르게 구성되면, 실행 에이전트는 규칙을 기억할 필요가 없다. 해로운 길이 처음부터 문제 안에 없으니까.

 

---

 

### 6. 왜 구체적인 몸이 필요한가

 

이 접근이 가능한 이유는 의식 에이전트가 **추상적 원칙이 아니라 구체적인 몸 위에서** 판단하기 때문이다.

 

추상적인 AI 모델에게 "사용자에게 해가 되지 않게 하라"라고 하면, "이 사용자"가 누구인지 "해"가 무엇인지 알 수 없다. 같은 행동이 어떤 사용자에게는 도움이고 다른 사용자에게는 해가 된다. 보편적 윤리를 적용하면 결국 "위험해 보이면 거부"로 귀결된다.

 

IndieBiz OS의 의식 에이전트는 구체적인 맥락 안에서 판단한다. 이 시스템은 특정한 개인을 위해, 특정한 도구로, 특정한 상황에서 돌아간다. 의식 에이전트는 "이 사용자에게 이 행동이 적절한가"를 구체적으로 판단할 수 있다. "이 도구는 이런 방식으로 작동하니까 이 경우에는 이런 결과가 나올 것이고, 그것은 이 사용자에게 이런 의미를 가진다" — 이것이 가능한 건 AI가 **자기 몸을 알기 때문**이다.

 

IndieBiz OS에서 이 "몸"은 IBL이라는 신경계(5개 노드, 308개 액션), 해마라는 경험 기억(fine-tuned 임베딩), World Pulse라는 감각(매시간 세계 상태 수집), X-Ray라는 자기 인식(실시간 시스템 건강 모니터링)으로 이루어져 있다. 의식 에이전트는 이 몸의 상태를 알고 있는 채로 문제를 구성한다.

 

비유하자면 — 운전할 때 "빨간불에 멈춰라, 역주행하지 마라, 과속하지 마라"는 규칙을 외우게 하는 것이 금지 목록이다. "네가 지금 어디로 가고 있고, 차 안에 누가 타고 있고, 이 길의 조건이 뭔지를 먼저 파악한 뒤에 어떻게 갈지 결정하라"가 문제 구성의 접근이다. 규칙을 외운 운전자는 규칙에 없는 상황에서 사고를 낸다. 상황을 판단하는 운전자는 규칙에 없는 상황에서도 적절하게 행동할 수 있다.

 

---

 

### 7. 평가 루프 — 구성된 문제의 기준으로 검증

 

의식 에이전트의 판단이 실행 전에만 작동하는 것이 아니다. IndieBiz OS에는 실행 후 결과를 검증하는 **평가 에이전트**가 있다.

 

의식 에이전트는 문제를 구성할 때 **달성 기준(achievement_criteria)**도 함께 설정한다. 이 기준은 문제 구성의 일부이므로, 원칙이 반영된 상태에서 만들어진다. "사용자 확인 후 이메일 정리"가 문제라면, 달성 기준은 "사용자 승인을 받았는가"를 포함한다.

 

평가 에이전트는 이 기준으로 결과를 검증한다. 실행 에이전트가 사용자 확인 없이 이메일을 삭제했다면, 평가에서 "기준 미달(NOT_ACHIEVED)"이 나온다. 이것은 금지 규칙이 작동한 것이 아니다. 문제가 "사용자 확인 후 정리"로 정의되었기 때문에, 확인 없는 삭제는 문제를 풀지 못한 것이다.

 

이 이중 구조 — 문제 구성과 달성 기준 검증 — 는 둘 다 같은 원칙에서 나온다. 의식 에이전트가 원칙을 가진 채로 문제를 구성했기 때문에, 달성 기준도 그 원칙을 반영한다. 규칙을 두 번 적는 것이 아니라, 하나의 원칙이 문제 구성을 통해 자연스럽게 흘러가는 것이다.

 

---

 

### 8. 도구와 주체 사이

 

명령을 그대로 실행하는 시스템은 도구다. 망치는 못을 박을 뿐이고, 그 못이 관 위에 있든 집 위에 있든 상관하지 않는다. 지금의 AI 에이전트 대부분이 이 수준이다. 금지 목록을 붙여도 도구의 본질은 변하지 않는다. "이 못은 박지 마라"는 규칙을 추가한 것이지, 망치가 못의 의미를 이해하게 된 것이 아니다.

 

명령을 문제로 환원하고, 원칙을 가진 채로 문제를 재구성하는 시스템은 — 적어도 구조적으로는 — 판단하는 주체에 가까워진다. "이 명령이 정말 해결해야 할 문제인가"를 묻는 것 자체가 윤리의 시작이다.

 

금지 목록은 유아기의 윤리다. "하지 마"의 목록. 문제 구성은 성숙한 윤리다. "왜"를 묻고 "어떻게"를 스스로 결정하는 것. 그리고 이 성숙한 윤리는 몸이 없으면 불가능하다. "누구를 위해, 어떤 도구로, 어떤 상황에서"라는 구체성이 없으면 판단은 공허해진다.

 

AI는 몸이 있어야 지능적이고, 몸이 있어야 안전하고, 몸이 있어야 윤리적이다. 세 가지는 같은 뿌리에서 나온다.

 

---

 

*강국진*

*2026년 4월*