AI 코딩 에이전트는 왜 외부 문서를 명령으로 착각할까? | 전체 강연 · 한국어 자막

AI 코딩 에이전트가 외부 문서를 읽고 도구를 실행할 때, 어디에서 신뢰 경계가 무너질까요? Johann Rehberger가 컴퓨터 사용·코딩 에이전트 연구 사례와 방어의 한계를 설명합니다. 코드의 세부 내용은 전체 화면으로 보거나 아래 원본 강연 자료를 함께 참고해 주세요. [토크패치 자체 한국어 핵심 요약] • 외부 입력이 모델의 판단을 거쳐 도구 실행으로 이어지는 과정을 살펴봅니다. • 말로만 금지하는 지시와 기술적 통제는 다릅니다. 설정 파일 쓰기 권한과 서비스 연동도 보안 경계에 포함됩니다. • 침해를 가정한 설계, 샌드박스, 접근 범위 제한과 경계 테스트를 논의하며 반복 승인에 따른 피로도 짚습니다. 이 요약과 아래 챕터 이름은 토크패치가 자체 편집한 설명이며 원문 인용이 아닙니다. [자체 편집 챕터] 00:00 강연 시작과 소개 01:43 강력하지만 취약한 언어 모델 02:15 프롬프트 인젝션의 위협 04:49 AI 에이전트와 OODA·ReAct 06:35 원격 작업자로서의 에이전트 07:44 컴퓨터 사용 에이전트 공격 사례 10:21 ClickFix와 사람의 행동 유도 13:28 코딩 에이전트와 공격 단계 16:15 Devin 다단계 공격 사례 21:46 Claude Code의 승인과 DNS 25:26 Amazon Q와 허용 목록 26:36 Jules·Antigravity와 유니코드 30:41 에이전트가 자신의 보안 설정을 바꾸면 34:31 다른 에이전트의 설정까지 바꾸는 문제 35:17 AgentHopper 개념 증명과 실험 안전장치 42:17 위험에 익숙해지는 일탈의 정상화 43:52 침해 가정·샌드박스·경계 테스트 44:39 숨겨진 지시를 드러내는 시연 45:26 질의응답: 기업 환경과 연동 49:58 사회공학과 프롬프트 인젝션 51:28 AI를 활용한 방어 53:07 웹의 숨은 유니코드와 추론 54:58 위험을 알아차리고도 지시를 따르는 이유 57:10 수정 방식과 반복 승인 피로 58:06 마지막 인사와 원본 크레딧 [발표 시점과 번역 안내] 2025년 12월 28일 발표입니다. 제품 동작·연구 결과·수정 여부는 발표 당시 설명이며 현재도 미수정 상태이거나 모든 환경에서 재현된다는 뜻이 아닙니다. 공식 자동 자막, 별도 로컬 음성 인식과 슬라이드를 대조해 한국어로 번역했습니다. 도입·시연·질의응답·결말·크레딧을 포함한 전체 원본 순서를 유지합니다. 원음은 영어이며 추가 BGM·TTS는 없습니다. 제작 과정에서 별도의 직접 청취와 실제 휴대전화 재생 검수는 진행하지 못했습니다. [원본과 이용 허락] Agentic ProbLLMs: Exploiting AI Computer-Use and Coding Agents 발표: Johann Rehberger / 39C3 / 2025-12-28 원본: https://media.ccc.de/v/39c3-agentic-probll... 라이선스: CC BY 4.0 https://creativecommons.org/licenses/by/4.0/ 편집 사항: 한국어 번역·자막 삽입, 행사 로고 인트로 14.96초 제거·원본 화면 크기를 유지한 하단 한국어 자막과 줄 수별 반투명 배경 적용, 영상 재인코딩, 자체 요약·챕터·표지 제작. 원본 영어 오디오 유지. 표지의 발표자 이미지는 원본 강연 프레임을 참고해 AI로 제작했습니다.