태그: DeepEval

이 태그가 붙은 프로젝트

개인 프로젝트, 2026.08 ~ 2026.09

agent-research (분야 전문성이 있는 AI 에이전트 연구)

분야 전문성이 있는 AI 에이전트를 어떻게 만드나, 그 과정에서 AI의 산출물을 어떻게 검증하나

조사 위임과 재검증 요구, 검증 규칙과 훅 도입 결정, 평가 지표 설계 방향 결정

Claude Code, MCP, LLM, OpenWiki, DeepEval (LLM 평가), Presidio (개인정보 검출), Python, GitHub Actions

코드 저장소

관련 글 (2편)

• 훅은 확정이고 프롬프트는 확률이라는데, 훅도 깨집니다

  AI에게 지키라고 적어둔 규칙 하나를 프롬프트 대신 훅으로 강제하기로 한 결정, 그 훅이 같은 날 상대경로 때문에 깨진 일, 그리고 비교하지 않은 것

  설계 결정  agent-research (분야 전문성이 있는 AI 에이전트 연구)

• AI가 쓴 문장마다 근거가 살아 있는지 기계로 세기

  위키의 사실 주장 30개가 소스 파일과 줄 번호로 지금도 추적되는지를 LLM 없이 채점하는 지표와, 비밀 값 필터 두 개를 같은 하네스에서 비교한 기록

  설계 결정  agent-research (분야 전문성이 있는 AI 에이전트 연구)