AI 지침서, 정답표 없이 제대로 고칠 수 있을까? 구글 harness2

AI에게 주는 지침서(CLAUDE.md 같은 것)를 고칠 때, 정답표 없이도 고친 게 나아졌는지 확인하는 구글 연구팀의 연구용 프로그램 harness2(하네스2)예요. 고친 지침서로 같은 일을 다시 시키고, 결과물을 일할 때 받은 원자료와 대조해 나아진 쪽만 남깁니다. 이걸 제 윈도우 PC에서 직접 돌려 보고, 시험용 카드값 계산에 붙여 봤어요. ■ 직접 해 본 것 윈도우에서 공식 무료 데모 돌리기(리눅스 기준이라 막힌 곳은 Claude Code에 부탁해 고침) 직접 만든 시험용 카드 명세서(8월 · 10월 · 11월분)로, 세 줄 지침서를 harness2가 고치게 하기 고치는 AI를 ChatGPT와 무료 AI로 바꿔 가며 같은 일 맡기기 원래 지침서와 고친 지침서를 같은 카드값 계산에 다섯 번씩 다시 돌려 맞은 횟수 세기 harness2 없이 Claude Code에 방식만 부탁해 보기 (시험한 판: harness2 0.1.0(커밋 1cfe254) · 일하는 AI = OpenCode 무료 모델 GLM-5.3-Flash · 고치는 AI = ChatGPT 구독 모델 · Windows 11, 2026-10-21~22) 지침서마다 다섯 번씩만 돌린 결과라, 나아지는 쪽이라는 경향까지만 말할 수 있어요. 영상 속 논문 점수는 논문에 적힌 숫자이고, 직접 다시 재 보지는 않았어요. 00:00 한 번 맞으면 나아진 걸까 00:37 감으로 고치면 왜 위험한가 01:32 harness2는 정답 없이 확인한다 02:57 카드값 계산으로 틀린 곳 찾기 05:26 근거가 없으면 안 고친다 06:46 다섯 번씩 다시 돌려 세어 보기 08:18 Claude Code로 방식만 빌려 쓰기 10:17 누구에게 필요한가 · 시간과 비용 ■ Claude Code에 보낸 부탁 (영상 그대로) 이 폴더 지침서.md는 내가 카드값 계산 시킬 때 AI한테 주는 지침서야. 이걸 고치고 싶은데 감으로 고치지 말고 이렇게 해 줘. ① 지금 지침서로 task 폴더 일을 한 번 시켜서 어떻게 일했는지 기록을 봐. ② 기록에서 헤맨 곳이나 틀린 곳을 근거로 고친 지침서를 만들어. 일하는 방식(순서 · 확인)과 카드 계산 지식은 따로 생각해. ③ 원래 것과 고친 것으로 같은 일을 각각 새로 시켜서 결과만 놓고 A · B로 이름 가린 채 원자료와 대조해 더 나은 쪽을 골라. ④ 무엇을 바꿨더니 무엇이 달라졌는지, 근거가 없으면 없다고 교훈 한 줄로 적어 줘. 정답은 나도 몰라. (이 부탁도 지침서마다 한 번씩만 돌려요. 중요한 지침서라면 여러 번 돌려 맞은 횟수까지 세 보세요.) ■ 깔기 전에 (2026-10-22 기준) 공식 안내는 리눅스 기준이에요. 윈도우에선 데모부터 막혀 고쳐야 했어요. 내 일을 넣는 명령은 없어서, 일을 잇는 코드를 따로 짜야 해요. 일하는 AI가 인터넷에 마음대로 접속할 수 있어요. 민감한 자료로 돌린다면 접속부터 막아 두세요. 설치 안내에 나오는 설정 예시 파일(.env.example)이 저장소에 없어서 직접 써야 해요. 구글 공식 지원 제품이 아닌 연구용 공개 코드예요(Apache-2.0). ■ 출처 harness2 저장소(google-research): https://github.com/google-research/ha... 논문: 「Harness^2: Recursive Agent Harnessing for an Open World」 arXiv 2610.14224 https://arxiv.org/abs/2610.14224 Bable · 차곡차곡 말로 쌓으면, 탑이 된다. #harness2 #AI에이전트 #ClaudeCode