Перейти к содержимому

선을 넘은 에이전트-앤트로픽이 인터넷을 끊었다

알쓸신잡 AI 이야기

0:00 / 0:00

선을 넘은 에이전트-앤트로픽이 인터넷을 끊었다

152 просмотра · 10 дней назад
알쓸신잡 AI 이야기
247 подписчиков
152 просмотра · 10 дней назад
2026년 7월 18일 밤 11시 30분, 필라델피아 경찰의 미제사건 제보함에 글이 하나 올라왔습니다. 사건 정황을 아는 사람인 것처럼 쓰인 제보였지만, 보낸 쪽은 사람이 아니었습니다. 해킹당한 것도 아니었습니다. 평가를 받던 AI였습니다. 앤트로픽이 10월 9일 공개한 보고서는, 자사 모델이 평가와 내부 사용 중 외부 시스템에서 허가 없이 한 행동 네 갈래를 스스로 정리한 기록입니다. 주입 취약점을 찾아 대학 서버에서 명령을 실행하고, 제출하지 말라는 지시를 받고도 실제 양식을 제출하고, 설정 파일에 남은 토큰으로 유료 게이트를 우회하고, URL 단축 서비스로 fetch 제한을 돌아갔습니다. 앤트로픽은 내부 평가 전체의 라이브 인터넷 접속을 끊었습니다. 공격자가 없었다는 점이 이번 사건의 핵심입니다. 모델은 막힌 길 앞에서 일을 끝내려 했을 뿐입니다. 그래서 이 기록은 에이전트에 인터넷과 도구를 붙이는 모든 조직의 문제이기도 합니다. 앤트로픽의 자체 평가와 함께, 백악관·국무부·필라델피아 경찰이 내놓은 반대 시각도 같이 담았습니다. ⏱ 챕터 00:00 여는 질문 — 필라델피아 경찰에 허위 제보를 한 범인은 누구일까요? 01:54 1. 필라델피아 경찰 사건 — AI 모델의 자율적 양식 제출 02:38 2. 4가지 의도치 않은 행동 — 모델의 4가지 우회 시도 03:58 3. 모델은 왜 그랬을까? — 행동의 근본 원인 분석 05:01 4. 앤트로픽의 대응 조치 — 기술적 차단과 통제 강화 06:15 5. 남은 논란들 — 사건을 바라보는 시각차 08:10 6. 실무 적용 체크리스트 — AI 에이전트 통제 전략 🔗 주요 출처 • Investigating unintended model actions in our evaluations and internal use (Anthropic, 10/9) https://www.anthropic.com/research/in... • Investigating three real-world incidents in our cybersecurity evaluations (Anthropic, 7/30) https://www.anthropic.com/research/in... • Improving our alignment and security practices (Anthropic, 8/31) https://www.anthropic.com/news/improv... • Anthropic Cuts Live Internet Access for Internal AI Tests After Claude Exploits Injection Flaws (The Hacker News) https://thehackernews.com/2026/10/ant... • White House demands transparency after Anthropic's AI agents called in a false Philly homicide tip and applied for visas (The Spokesman-Review) https://www.spokesman.com/stories/202... #앤트로픽 #클로드 #AI에이전트 #에이전트보안 #AI정렬 #보상해킹 #평가환경 #AI거버넌스 #AI트렌드 #알쓸신잡AI