rag(검색증강생성) 시스템 만들어 보기

오늘은 내가 최근에 해보고 있는 일에 대해서 더 설명을 해볼까 한다. 최근에는 두 가지 일을 기반으로 한가지 프로젝트에 시간을 쓰고 있다. 나는 먼저 클로드에 mcp 서버들을 몇개 설치해서 나의 클로드가 할 수 있는 일을 늘렸다. 대표적인 것이 파이선 프로그램을 직접 실행할 수 있게 하고, 파일을 읽고 쓰고 옮길 수 있게 한 것이다. 그러면 나는 데스크탑 버전 클로드에게 이 디렉토리에 있는 시스템 중에서 필요한 것만 저 디렉토리로 옮겨줘같은 명령을 내릴 수 있다. 이에 대한 세부사항은 지난 글에 있으니 관심있는 분은 찾아보기 바란다. 

 

두번째 일은 내 티스토리 블로그를 백업받은 데이터를 데이터 베이스로 만들고 그 데이터 베이스에서 정보를 검색하거나 글을 뽑아내는 프로그램을 개발하는 것이었다. 글을 평가하는 시스템과 함께 말이다. 나는 html 파일들로 된 티스토리 백업 데이터를 sqlite 형식으로 바꿨다. 그리고 거기서 글을 뽑아서 분석하는 프로그램을 만들었다. 물론 클로드 AI의 도움을 받아서 한 일이다. 이것도 지난 글에 보다 자세히 설명해 두었다. 

 

이렇게 프로젝트를 하면서 새삼 느끼는 것은 AI를 쓰는 올바른 방법은 내가 할 수 있는 일을 AI에게 부탁하는게 아니라는 것이다. 올바른 방법은 내가 할 수 없는 일을 AI에게 부탁하고 AI와 같이 협동하는 것이다. 그러면 전에는 도저히 시도도 해볼 수 없는 일을 해볼 수 있게 된다. 나는 프로그램을 해본 적이 있지만 사실 파이선 프로그래밍은 한번도 해본적이 없다. 그런데 AI에게 파이선 프로그램을 작성하게 하고 실행하게 한다. 그것도 아주 복잡해서 내가 감히 짜볼 시도도 못할 정도로 복잡한 일도 한다. 

 

대표적인 것이 지난 몇일동안 내가 시도했던 RAG 시스템을 만드는 일이다. 검생증강생성 시스템이란 특정한 데이터 베이스를 참고해서 답을 생성하는 것인데 나의 경우에는 17.7년간 3천개 이상 쓴 블로그 포스팅 자료가 있으므로 그것을 바탕으로 답을 작성하게 하는 것이었다. 그래서 (k의생각4) 노무현은 어떤 사람인가?라고 물으면 클로드는 자신의 답을 하는 대신에 데이터 베이스의 글들을 참고해서 K는 이렇게 생각합니다라고 답을 내놓는 것이다. 

 

이 프로젝트를 시작하기 전에 나는 이런 시스템에 대해서 아는 것이 전혀 없었고 지금도 이 프로젝트는 완성되지 않았다. 다만 나는 클로드에게 이런 걸원한다. 이런걸 해보자. 반성을 해봐라. 너는 잘했다고 생각하냐. 답을 보니까 만족스럽지 않다. 이런 식의 피드백을 클로드에게 제시했을 뿐이다. 그러면서 시스템을 개선해 왔다. 내 맥에어에서 말이다. 

 

사실 데이터에 근거해서 말하는 시스템이 바로 LLM이다. 그래서 아예 내 데이터를 AI에 학습시켜서 이런 시스템을 만들 수도 있고 인터넷에는 유료지만 그것을 가능하게 만드는 서비스도 있다. 하지만 말했듯이 유료이며 집에서 직접 하기에는 컴퓨터 사양이 좋아야 한다. 아닐 수도 있지만 적어도 지금의 나는 그렇게 생각한다. 그래서 클로드와 상담한 끝에 knowledge graph를 만들고 그것을 기반으로 키워드 서치를 해서 글을 종합하는 방식을 택했다. 이렇게 하면 그렇게 까지 컴퓨터가 좋지 않아도 된다.

 

knowledge graph란 무엇인가? 나도 모른다. 아니 몰랐다. 전공이 아니라서. 지금도 잘 모르지만 간단히 말하면 지식들이 서로 가지는 연관성을 데이터 베이스로 정리해 놓은 것이라고 할 수 있다. 그리고 이정도만 알아도 클로드는 그걸 생성하고 사용해서 결과를 개선한다. 나는 전체적인 계획에만 관여하고 자세한 건 어차피 클로드가 다한다.

 

하지만 분명한 것은 처음부터 완벽한 답을 찾을 수는 없다는 것이다. 계속 해서 개선하고 새로운 시도를 해보는 것이 필요하다. 그 새로운 시도의 방향을 클로드가 찾을 때도 있지만 내 의견도 아주 중요하다. 그래서 plan.txt라는 문서를 작성하고 저장하는 일이 중요했다. 이 문서에는 이 프로젝트의 개요와 진행 상황이 적혀 있다. 나는 클로드에게 이 문서를 적어달라고 하고 종종 그걸 저장했다. 그러다가 다음번에 다시 수정을 시작할 때는 plan.txt를 제공하고 프로젝트를 계속하자라고 말하는 것이다. 파일시스템 MCP가 있기 때문에 클로드는 스스로 파일을 만들고 편집하고 저장할 수 있어서 plan.txt를 직접 쓸 수도 있다. 하지만 긴 파일의 경우에는 아티팩트에 써달라고 한다음 복사해서 내가 파일을 업데이트 하는 쪽이 더 간단하다. 

 

파이선으로 수백줄의 코드는 상당히 긴 것이다. 그런 코드를 턱턱 만드는 것을 보고 이 프로젝트는 클로드 없이는 할 수 없다는 것을 절감했다. 하지만 역시 사람이 방향을 주면서 같이 해야 한다. 클로드는 매우 뛰어난 동시에 때로 바보같다. 절대 하지 말라고 했는데도 하는 일도 있다. 그리고는 미안하다고 한다.   

 

그렇게 만든 시스템에게 인생의 의미를 물으면 무슨 답을 할까?

K의 생각 시스템에서 17.7년간의 블로그 글을 검색한 결과를 바탕으로 인생의 의미에 대한 K의 관점을 종합해보겠습니다.

🤔 K가 바라본 인생의 의미

복잡성과 변화하는 관점

K는 **"오늘날 인생의 의미를 찾는 일은 참으로 쉽지 않다"**고 말합니다. 과거 종교가 지배하던 시대에는 신의 뜻이라는 명확한 답이 있었지만, 현대에는 우리가 더 많은 것을 알게 되면서 오히려 의미를 찾기가 어려워졌다고 봅니다.

일상의 아름다움에서 찾는 의미

흥미롭게도 K는 거창한 철학적 담론보다는 일상의 순간들에서 인생의 의미를 발견하는 경향을 보입니다:

"나는 때로 아침일찍 거리에 나설 때면, 특히 입김이 허옇게 보이는 추운 겨울날 그렇게 할 때면 세상이 참 아름답다고 느낀다"

이는 인생의 의미가 특별한 어떤 것이 아니라 평범한 일상 속의 작은 발견들에 있을 수 있다는 관점을 보여줍니다.

뇌과학적 접근

K는 독특하게도 뇌과학과 인생의 문제를 연결해서 생각합니다. "뇌의 문제, 인생의 문제"라는 글에서 보듯이, 인생의 의미 역시 인간이라는 존재 자체와 분리될 수 없다는 과학자적 시각을 보입니다.

사물의 뒷편을 보려는 시도

"달의 뒷편, 사물의 뒷편"이라는 제목에서 알 수 있듯이, K는 표면적으로 드러나지 않는 것들에 관심이 많습니다. 인생의 의미 역시 겉으로 보이는 것 너머에 있을 수 있다는 관점입니다.

---

💭 종합적 관점

K에게 있어 인생의 의미는:

1. 절대적 답이 없는 질문 - 현대사회의 복잡성으로 인해 더욱 어려워진 문제
2. 일상 속 발견 - 거창한 목적보다는 소소한 순간들에서 찾을 수 있는 것
3. 과학적 탐구 대상 - 인간 존재 자체에 대한 이해를 통해 접근할 수 있는 것
4. 지속적 탐구 과정 - 완결된 답이 아니라 계속해서 찾아가는 여정

K의 17.7년간의 사유를 통해 볼 때, 인생의 의미는 한 번에 발견되는 거대한 진리가 아니라, 살아가면서 순간순간 느끼고 깨달아가는 작은 의미들의 누적이라고 볼 수 있겠습니다.

 

뭐. 아주 만족스럽지는 않다. 그리고 보다 더 그럴듯한 답을 만들어 내려고 시스템을 아직도 손보는 중이다. 하지만 어느 정도는 작동하고 있다. 만약 여러분이 클로드를 쓰고 있다면 첨부한 파일을 클로드에게 주고 이게 뭐냐고 하면 클로드가 설명해 줄 것이다. 필요한 mcp 설치를 좀 하고 나면 여러분의 블로그 글 백업 데이터를 가지고 같은 시스템을 만들 수도 있을 것이다. 모르는 것은 클로드에게 물어보면 된다. 참고하기 위해서 intro.txt를 올려두겠다.  

 

intro.txt

0.01MB