평균 정답률 68%인데 5번 연속은 44% — AI 에이전트 성적표 만드는 법 (AI 심판 · 비용 실측) | 에이전트 제대로 이해하기 9편

8편의 가나다식품(가상) 반품 에이전트를 같은 상담 16건 × 5번씩 다시 돌려 '한 번이라도 맞힘(Pass@5)'과 '5번 연속 다 맞힘(Pass^5)'을 쟀습니다. 프롬프트 규칙만 쓴 에이전트는 평균 68%, Pass@5 81%였지만 Pass^5는 44%였습니다. 답변 160개를 AI 심판에게 채점시켰더니 기준 없이는 정답과 39%만 일치했고, 루브릭과 근거를 줘도 기간이 지난 냉동 8일째 환불을 4번이나 통과시켰습니다. 8턴 환불 작업의 비용을 2×2로 나눠 보니 프롬프트 맨 앞만 고정해도 캐시 덕분에 66%, 기록 압축까지 더하면 74%가 줄었습니다. 마지막에 우리 에이전트 성적표 만드는 체크리스트로 정리합니다. ⏱ 챕터 0:00 오프닝 — 결론부터 1:31 01 성공의 정의 (Pass@k vs Pass^k) 3:01 02 AI 심판 — 채점을 AI 에게 맡겨도 되나 4:34 03 비용 — 어디서 돈이 나가나 (캐시 · 압축 2×2) 6:10 04 에이전트 성적표 만들기 📚 원본 『AI 에이전트를 깊이 이해하기: 설계 원리와 엔지니어링 실전』 리보제(李博杰) 지음, 한국어판 번역 @JeongJaeSoon https://github.com/bojieli/ai-agent-book — Apache License 2.0 라이선스: 원문은 Apache License 2.0 으로 배포됩니다(일부 하위 프로젝트는 별도 라이선스) — 전문 https://www.apache.org/licenses/LICEN... 이 영상은 원서 7장(평가 지표 · LLM-as-a-Judge · 에이전트 비용 분석 · 통계적 유의성)을 바탕으로 AI워크랩이 다시 구성하고 예제를 바꾼 것입니다. 원서 실험 7-10(비용 분해)을 가나다식품 환불 작업으로 바꿔 직접 실행했고, 8 · 9장(사후 학습 · 지속 진화)은 한 장면으로 요약했습니다. 📌 참고 실습 결과는 OpenAI gpt-4.1-mini로 2026-10-21에 실제 실행한 결과입니다. 비용은 API가 돌려준 입력 · 캐시 · 출력 토큰에 단가(입력 $0.40 · 캐시 입력 $0.10 · 출력 $1.60 / 100만 토큰)를 곱해 계산했습니다. 모델과 실행 시점에 따라 결과는 달라질 수 있습니다. 가나다식품과 주문 데이터는 모두 교육용 가상 데이터입니다. #AI에이전트 #AI평가 #LLMasaJudge #AI비용 #AI업무활용 #AI워크랩