세션 2,965개를 열어봤다

Claude, Codex, Gemini, Hermes, OpenClaw를 섞어 쓰면서 프로젝트를 진행해왔다.

조사는 Claude, 구현은 Codex. 다른 관점이 필요하면 Gemini, 일정과 운영은 Hermes.

여러 개를 쓰고 있으니 멀티 에이전트 협업을 하는 줄 알았다.

 

기록이 쌓일수록 확신이 없어졌다.

협업을 한 것인지,

같은 질문을 여러 군데 돌려가며 물어본 것인지 모르겠다.

 

그래서 남아 있는 세션 2,965개를 열었다.

가장 오래된 것이 2025년 11월이고, 실제로는 2026년 3월 이후가 99%다. 전부 1:1 검토 원장으로 구조화했고, 성공·실패·정정·권한 차단이 뚜렷한 24개는 원문을 다시 읽었다.

이 글은 그 세션에서 나온 것만 쓴다.

 

에이전트마다 잘하는 자리가 달랐다

에이전트별로 갈라보니 강점이 갈렸다.

Claude는 자료 조사, 문제 쪼개기, 문서 정리, 여러 결과 합치기에 강했다. 넓은 맥락을 읽고 작업을 잘게 나누는 허브 자리다.

 

Gemini는 대안과 반론을 빨리 뽑는다. 답이 아직 안 닫힌 초반에 범위를 넓히는 데 좋았다.

다만 없는 명령어를 제안하거나 출처가 확인되지 않는 얘기를 한 사례가 있었다. 최종 판정자가 아니라 후보를 만드는 자리다.

 

Codex는 요구사항이 구체적으로 닫힌 다음의 구현과 검증에 강했다. 화면, 코드, API 파이프라인 같은 실제 산출물을 만든다.

세션이 길어지면 결정과 변경이 쌓여서 중간 체크포인트와 별도 리뷰가 필요했다.

 

Hermes는 일정, 알림, 설정, 로그, 프로세스 상태 쪽이다. 무엇을 만들지보다 만들어진 것이 계속 도는지를 본다.

 

OpenClaw는 기록이 적어서 핵심 역할을 주기에는 근거가 부족하다. 채널 라우팅이나 상태 확인처럼 틀려도 타격이 작은 곳에만 붙였다.

 

누가 제일 잘하는지는 중요하지 않았다. 누가 조사하고, 누가 반론을 걸고, 누가 만들고, 누가 검증하는지를 떼어놓는 것이 중요했다.

한 에이전트가 조사자이면서 구현자이면서 최종 검증자면 자기 가정을 자기가 승인한다.

 

계약, 조사, 도전, 실행, 운영, 통합

기록에서 실제로 잘 돌아간 순서를 적으면 이렇다.

사람과 Claude가 목표, 범위, 금지사항, 완료 기준을 정한다. Claude가 근거를 모으고 문제를 쪼갠다.

Gemini가 조사 결과에 반론을 걸고 다른 선택지를 만든다. 어떤 가정을 쓸지는 사람이 정한다.

요구사항이 닫히면 Codex가 만들고 직접 검증한다. 검증된 것만 Hermes의 일정, 알림, 모니터링에 붙인다. 마지막에 사람과 Claude가 결정, 변경, 검증 결과, 남은 일을 합친다.

 

한 번 흐르고 끝나는 직렬이 아니다. 검증에서 걸리면 조사나 계약으로 돌아간다.

각 단계는 다음 에이전트가 그대로 집어 쓸 수 있는 인계 기록으로 끝나야 한다. 그게 안 되면 다음 단계가 처음부터 다시 조사한다.

 

사람 몫은 다 읽는 것이 아니다

AI를 많이 쓰면 사람 일이 줄 것 같지만 초반에는 확인할 것이 늘어난다.

모든 명령과 답변을 사람이 읽으면 프로젝트 속도가 사람 읽는 속도에 묶인다. 반대로 목표와 승인권까지 넘기면 매끄러운 오류와 예상 못 한 외부 변경을 못 잡는다.

 

사람이 계속 들고 있어야 하는 것은 목표와 가치 판단, 우선순위와 비용, 감수할 위험의 범위, 발행이나 삭제처럼 되돌릴 수 없는 행동의 승인, 선택지가 부딪혔을 때의 최종 결정이다.

AI가 맡을 것은 맥락 확인, 반복 작업, 근거 수집, 구현, 테스트, 실패 원인 분리, 인계 기록이다.

 

사람이 AI를 전부 감시하는 구조가 아니다. 사람이 승인선을 긋고, AI가 그 안에서 증거를 만들고, 경계에 닿을 때만 사람을 부른다.

 

기록은 보관함이 아니라 인덱스여야 한다

2,965개를 다시 보면서 제일 걸린 것은 양이 아니었다. 필요한 결정을 다시 못 찾겠다는 것이었다.

대화를 통째로 저장한다고 프로젝트의 기억이 생기지 않는다. 다음 세션이 실제로 찾는 것은 답변 전문이 아니라 여덟 가지다.

 

1. 무엇을 결정했는가.

2. 무엇을 변경했는가.

3. 무엇을 직접 검증했는가.

4. 확인된 사실은 무엇인가.

5. 아직 추정인 것은 무엇인가.

6. 무엇이 남았는가.

7. 사람 승인이 필요한 것은 무엇인가.

8. 어떤 조건이면 재개할 수 있는가.

이 여덟 줄만 남으면 세션 메모리가 긴 대화를 다시 읽는 곳이 아니라 왜 이렇게 정했는지를 찾는 곳이 된다.

 

마무리

신뢰 기준이 바뀌었다. 전에는 모델 이름, 답변이 자연스러운 정도, 결과 나오는 속도를 봤다.

지금은 세 가지를 먼저 본다. 근거를 다시 확인할 수 있는가. 무엇이 바뀌었는지 알 수 있는가. 끝났다는 직접 증거가 남아 있는가.

여러 개를 쓴다고 협업이 되는 것이 아니었다. 증거를 남기게 만들어야 협업이 된다.