vgc-ai (포켓몬 배틀 게임 AI)
코딩 에이전트의 제안, 신뢰구간으로 걸러내기
- 기간
- 2026.05 ~ 2026.06
- 구성
- 개인 프로젝트
- 내 역할
- 실험 파이프라인, 통계 게이트, 자율 루프 설계
- 결과
- 교내 리그전 25팀 중 1위. 코딩 에이전트의 제안을 통계 게이트로 걸러 채택하는 구조
먼저 볼 글
-
n=200에서 이긴 정책이 n=500에서 떨어졌다: Wilson 신뢰구간 게이트가 걸러낸 16건
200판의 우위는 표본 오차였고 4%를 확인하는 데 2000판이 들었다. 통계 기준이 거른 16건의 수치 그대로
-
GCP VM 위의 세 루프: proposer, reviewer, PR handler, 그리고 토큰 예산
코딩 에이전트가 제안하고 통계 게이트가 판정하는 자율 루프가 어떤 순서로 셋이 됐고, 첫 닷새 동안 왜 세 번 멈췄나
IEEE CoG 2026 포켓몬 VGC AI 대회를 목표로 시작한 게임 AI(대회 제출은 하지 않음). 에이전트 자체보다 “개선을 어떻게 검증하는가”를 보여주는 프로젝트입니다. 코딩 에이전트를 개발에 투입하되, 통계 게이트를 통과한 것만 받습니다.
기술적 의사결정
휴리스틱 탐색 (deep RL 기각) 이 엔진은 분산이 커서 deep RL이 깨진다는 선행 대회 분석. 고전 탐색과 평가 함수 조합이 실제로 더 강함.
LP-minimax 팀빌딩 상대 메타가 무엇이든 최악의 매치업을 수학적으로 보장하는 팀 선택.
코딩 에이전트 전략 제안 GCP VM에서 에이전트가 전략을 제안. 사람이 못 도는 탐색 폭을 확장하되, 채택은 게이트가 결정.
n=2000 자가대전, 95% CI 게이트 신뢰구간 하한을 통과해야만 채택. 우연한 연승을 개선으로 착각하지 않기 위해. 기각된 실험도 원인 분석과 함께 보존.
결과
교내 리그전 1위 / 25명 (2026-05-17, 25팀 라운드로빈), IEEE CoG 2026은 목표였으나 제출하지 않음
참고
이 프로젝트 관련 글 (4편)
-
GCP VM 위의 세 루프: proposer, reviewer, PR handler, 그리고 토큰 예산
코딩 에이전트가 제안하고 통계 게이트가 판정하는 자율 루프가 어떤 순서로 셋이 됐고, 첫 닷새 동안 왜 세 번 멈췄나
-
팀빌딩을 LP로 푼 이유: 그리디 커버리지와 Nash 혼합전략, +111 ELO
상대를 모르는 상태에서 팀을 고르는 문제를 선형계획법으로 푼 이유와 실제 결과
-
Tabular MC가 네 번 기각된 진짜 이유: 학습이 아니라 추론 코드 한 줄이었다
이틀 동안 네 번 학습시킨 몬테카를로 정책이 전부 게이트에 걸렸는데, 원인은 학습이 아니라 표에 없는 상황에서 random을 두던 한 줄이었다
-
n=200에서 이긴 정책이 n=500에서 떨어졌다: Wilson 신뢰구간 게이트가 걸러낸 16건
200판의 우위는 표본 오차였고 4%를 확인하는 데 2000판이 들었다. 통계 기준이 거른 16건의 수치 그대로