TPUB는 AI 협업 과정에서 발생한 문제와 판단 과정을 블로그 마크다운으로 정리하기 위한 규칙으로 시작했다. 이후 하나의 명령으로 현재 대화를 분석하고, 발행할 콘텐츠와 필요한 패키지까지 일관된 형식으로 생성할 수 있도록 규칙을 계속 확장해왔다.
부족한 부분이 발견될 때마다 규칙을 추가하는 방식으로 수정하다 보니, 규칙이 늘어날수록 문제는 규칙의 개수가 아니라 각 규칙의 책임 영역이 섞이는 것이었다. 그리고 아무리 규칙을 추가하거나 강화시키더라도 내가 의도한 방향으로 동작하지 않고 동일 대화방이라도 그때그때 다른 결과물이 생성되니 종잡을 수가 없었다.
사람과 LLM은 같은 명령을 다르게 이해한다
내가 "TPUB 발행해줘"라고 요청할 때 기대한 것과 LLM이 이 요청을 처리하는 방식에는 차이가 있었다. 사람은 이전 대화, 경험, 목적을 포함해서 의도를 해석한다. 따라서 이 명령에는 전체 대화 분석, 핵심 사건 선정, 판단 과정 보존, 완성도 높은 글 생성이라는 의미가 포함되어 있다고 생각한다.
사람 기대:
전체 대화 분석
↓
숨겨진 의도 파악
↓
중요 사건 선정
↓
완성도 높은 글 생성
하지만 LLM은 TPUB.md의 규칙을 일반 프로그램의 로직처럼 항상 동일하게 실행하는 것이 아니라, 현재 요청과 문맥, 주어진 기준을 함께 해석해 결과를 생성한다.
LLM 판단:
현재 요청 분석
↓
관련 규칙 확인
↓
중요하다고 판단되는 내용 선택
↓
콘텐츠 생성
여기서 내가 관가하고 넘어간 부분이 있었다. 최초 실행후 결과가 안좋으면 ChatGPT에게 생성된 내용을 전달하면 이런 부분이 부족하고 이렇게 수정하는게 좋을 것 같다고 의견을 제시한다.
이렇게 명령어를 내리면 ChatGPT가 제시한 의견을 당연히 생성 규칙이 추가되어 LLM이 다시 판단하고 개선된 새로운 콘텐츠를 생성하게 되는 것이었다. 이것을 보고 나는 머리를 망치로 한대 맞은 느낌이었다.
개발할 때 나는 AI(ChatGPT / Codex)를 협업하는 파트너로 생각하고 개발을 진행했는데, TPUB.md를 사용하여 블로그 올린 글을 생성하는 초안은 자동화 도구로 보고 있었던 것이다.
TPUB에서도 같은 협업 방식이 필요했다
즉, 가장 큰 깨달음은 MyStock 개발 과정에서 이미 사용하고 있던 방식이었다. Codex 작업에서는 단순히 "기능 만들어줘"라고 요청하지 않았다. 현재 문제, 발생 배경, 원하는 방향, 검증 기준을 설명하고 결과를 확인한 뒤 다시 수정하는 과정을 반복했다. 즉 개발 과정에서는 이미 AI를 자동 실행 도구가 아니라 협업 파트너로 사용하고 있었다.
콘텐츠 생성에서도 동일한 구조가 필요했다. AI에게 모든 것을 알아서 처리하도록 기대하는 것이 아니라, 핵심 사건과 방향을 사람이 지정하고 AI가 초안을 생성한 뒤 검토와 보완을 반복하는 방식이다.
┌─────────────┐
│ TPUB.md │
│ 기준/규칙 │
└──────┬──────┘
│
사용자 ── 핵심 의도 ──→ LLM
│
초안 생성
│
↓
사용자 검토
│
부족한 부분 보완
│
↓
최종 결과즉, TPUB.md는 실행 프로그램이 아니다. LLM이 결과를 생성할 때 참고하는 판단 기준이며, 사람이 AI와 협업하기 위한 기준서다. 따라서 TPUB.md 정리는 기존 규칙을 삭제하거나 축약하는 대신 기준 문서를 유지하고, 개선 사항은 해당 카테고리에 반영하는 방식으로 변경했다. TPUB는 단순 명령 모음이 아니라 AI 협업 기준서로 방향을 변경했다.
AI 활용에서 중요한 것은 AI에게 모든 것을 맡기는 것이 아니다. 사람이 원하는 결과와 LLM이 생성하는 결과 사이의 차이를 이해하고, 서로의 역할을 정의하는 것이 진짜 협업이다.