agent-research (분야 전문성이 있는 AI 에이전트 연구)
분야 전문성이 있는 AI 에이전트를 어떻게 만드나, 그 과정에서 AI의 산출물을 어떻게 검증하나
- 기간
- 2026.08 ~ 2026.09
- 구성
- 개인 프로젝트
- 내 역할
- 조사 위임과 재검증 요구, 검증 규칙과 훅 도입 결정, 평가 지표 설계 방향 결정
- 결과
- AI에게 나눠 맡긴 조사 6건 중 3건의 오류를 재검증으로 잡아 규칙으로 남김. 위키 사실 주장 30개를 소스로 추적하는 결정론적 지표와 비밀 값 필터 비교 하네스 구현
먼저 볼 글
-
AI가 쓴 문장마다 근거가 살아 있는지 기계로 세기
위키의 사실 주장 30개가 소스 파일과 줄 번호로 지금도 추적되는지를 LLM 없이 채점하는 지표와, 비밀 값 필터 두 개를 같은 하네스에서 비교한 기록
-
훅은 확정이고 프롬프트는 확률이라는데, 훅도 깨집니다
AI에게 지키라고 적어둔 규칙 하나를 프롬프트 대신 훅으로 강제하기로 한 결정, 그 훅이 같은 날 상대경로 때문에 깨진 일, 그리고 비교하지 않은 것
“내 분야에 전문성이 있는 AI 에이전트는 어디서 오는가”를 정리하는 개인 연구 레포입니다. 2026년 8월 31일 첫 커밋, 9월 6일까지 커밋 6개. 설계보다 검증에 무게가 있습니다. AI에게 조사를 맡기면 얼마나 틀리는지, 틀린 걸 어떻게 잡는지, 규칙을 어떻게 강제하는지.
기술적 의사결정
조사는 AI에게, 확인은 독립 도구로 Claude Code가 조사를 하위 AI 여러 개에 나눠 맡기는 구조. 돌아온 보고 6건 중 3건이 틀렸고 셋 다 따져 묻고 나서야 드러남. 이후 확인만 맡는 역할을 따로 정의하고 “없다”는 결론엔 반증 검색, 순위엔 합병이나 지원 종료 여부 검색을 규칙으로.
규칙은 프롬프트가 아니라 훅으로 “생성된 위키는 손으로 고치지 않는다”를 편집 직전에 경로를 검사해 거부하는 훅으로 전환. 그 훅이 상대경로 때문에 깨진 것도 같은 날 잡아 고침.
LLM 없는 채점 위키의 사실 주장 30개가 소스 파일과 줄 번호로 지금도 추적되는지를 파일 시스템만 보고 채점. 같은 입력엔 항상 같은 점수.
필터는 갈아 끼우며 비교 비밀 값 필터를 인터페이스 하나에 백엔드로 꽂는 하네스. 정규식 필터 재현율 0.75 대 Presidio 1.00.
결과
위임 조사 오류 3/6 발견과 규칙화, 훅 1개, 결정론적 grounding 지표(Claim 30개 통과), 필터 비교 하네스(백엔드 2개). 설계 문서의 루프 여섯 단계 중 구현된 건 두 조각.
참고
이 프로젝트 관련 글 (2편)
-
훅은 확정이고 프롬프트는 확률이라는데, 훅도 깨집니다
AI에게 지키라고 적어둔 규칙 하나를 프롬프트 대신 훅으로 강제하기로 한 결정, 그 훅이 같은 날 상대경로 때문에 깨진 일, 그리고 비교하지 않은 것
-
AI가 쓴 문장마다 근거가 살아 있는지 기계로 세기
위키의 사실 주장 30개가 소스 파일과 줄 번호로 지금도 추적되는지를 LLM 없이 채점하는 지표와, 비밀 값 필터 두 개를 같은 하네스에서 비교한 기록