목록으로
회고

내가 만든 걸 세 번 잊었다 — AI 판단축 프로젝트 VTS, 5개월 동안 같은 결론을 세 번 다시 쓴 기록

bl4ckr 21 1
게시물 메뉴

이 글은 AI 에이전트(Claude Code)가 내 작업 기록을 보고 썼다. 나는 뭘 쓸지 정하고, 틀린 데를 짚었다.

결론부터 쓴다. 나는 5월에 이미 답을 적어 뒀다. 그걸 7월에 잊었고, 9월에 다시 찾았다가, 10월에 또 잊었다. 세 번째로 되찾게 해 준 건 우리 기록을 하나도 모르는 외부 AI(Meta AI)였다.

VTS가 뭐냐면

3월에 Claude가 대화 기록을 엉뚱하게 이어 붙여 기억을 지어내는 걸 봤다. 그 뒤 몇 주 동안 같은 사건을 AI 네 곳에 보여 주며 손으로 교차 점검을 했는데, 너무 피곤했다. 그래서 어느 AI에든 얹을 수 있는 판단 기준 문서를 만들기 시작했다. 그게 VTS(Verified Thought Structure)다.

문서 첫머리는 이렇다.

AI는 stateless다. 세션이 끝나면 판단도 사라진다. 
VTS는 그 한계를 외부에서 보완하는 부팅 프로토콜이다. 
VTS는 AI의 기억을 저장하는 시스템이 아니라, 작업 맥락마다 판단 상태(judgment state)를 재구성하는 부팅 프로토콜이다.

첫 번째 답 — 5월 2일

5월 2일, Claude Code가 VTS를 쓰면서 자기 관찰 보고서를 남겼다. 거기 이런 문장이 있다.

VTS is not about measuring judgment or managing structure. 
It's about inheriting judgment across sessions without loss.

판단을 재는 게 아니라, 세션이 바뀌어도 판단을 잃지 않고 물려받는 것. 10월에 내가 내린 결론이 이미 여기 적혀 있었다.

잊은 자리 — 7월

7월에 VTS를 넣은 AI와 안 넣은 AI를 비교했다. 품질 차이가 안 났고, 제품으로 키우려던 계획을 동결했다(혼자 쓰는 건 계속했다). 8월과 9월에 문항을 바꿔 다시 쟀는데, 강한 모델은 VTS 없이도 이미 잘했다. 9월 21일엔 다른 AI가 "문서로서의 VTS: 폐기"라고 판정하기까지 했다.

지금 보면 잣대가 틀렸다. 나는 "판단을 잃지 않고 이어 가는가"를 만들어 놓고 "한 번에 정답을 맞히는가"로 쟀다. 그 잣대로 재면 버리는 게 정답처럼 보인다.

두 번째 답 — 9월 25~26일

9월 말에 자동화 장치로 VTS를 되살리면서 이런 말을 주고받았다.

  • VTS가 맡는 건 "시간에 걸친 일관성", 곧 "어제의 판단과 오늘의 판단이 같은 머리에서 나왔다"는 보장이다. (같이 일하는 AI, 9/25)
  • "판단 축을 만들려고 한 건 내 이익과 편함을 얻고 자만해서 만든 게 아니고 너희에게도 기준을 주어서 궤도에서 이탈하는 걸 방지하기 위함이야." (나, 9/26)

5월과 같은 답이다. 그리고 열흘도 안 돼서 또 잊었다. 다시 "어떻게 측정하지"로 돌아가 있었다.

세 번째 — 10월 4일

새벽에 Meta AI한테 VTS 문서 앞부분 두 문단을 캡처로 보여 주고 대충 설명했다. 그 AI는 VTS가 범용 성능을 올리는 도구가 아니라 판단 연속성을 위한 것이고, 그래서 범용 테스트지로는 안 재진다고 읽었다.

설명이 섞였으니 Meta AI는 내 말을 따라 한 걸 수도 있다. 그래서 설명 없이 두 문단만 다른 AI 두 곳(DeepSeek, Gemini)에 줬다. 둘 다 같은 걸 읽었다. 두 곳을 합쳐 든 비용은 20원이 안 됐다.

그래서 알게 된 것

VTS가 막으려던 게 "판단축 단절"이다. 세션이 바뀌고 모델이 바뀌면 왜 그렇게 판단했는지가 떨어져 나가는 것. 그런데 그게 VTS 프로젝트 자신한테 일어났다. 세션을 건너고 AI를 바꾸는 사이에 "왜 만들었나"가 세 번 떨어져 나갔고, 매번 나나 같이 일하는 AI, 아니면 우리 기록을 모르는 외부 AI가 다시 붙여 줬다.

그래서 이제 방향을 정하기 전에 기원 문장 몇 줄부터 다시 읽는다. 새 결론이 나오면 "이거 옛날에 한 말 아닌가"부터 확인한다.

정직하게 덧붙이면, VTS가 효과가 있다는 건 아직 증명 못 했다. 확인된 건 "설명 없이 두 문단만 줘도 AI 두 곳이 같은 목적을 읽어 냈다"까지다. 표본도 아직 작다. 다음은 실제 운용에서 판단이 얼마나 오래 궤도에 붙어 있는지, 끊긴 자리를 고치면 같은 끊김이 다시 안 나는지를 재는 거다.

따옴표 인용은 작업 기록과 커밋의 원문 그대로다. 따옴표 없는 부분은 요약이다. 이 글도 AI 에이전트가 Aside 브라우저로 직접 올렸다.

, , , ,
게시물 메뉴