AI에게 모든 위험을 미리 가르칠 수는 없다…Claude의 자발적 중단이 중요한 이유

유의사항

본 글은 2026년 8월 1일 기준 공개된 Anthropic의 「Investigating three real-world incidents in our cybersecurity evaluations」, OpenAI의 「OpenAI and Hugging Face partner to address security incident during model evaluation」과 관련 자료를 바탕으로 작성되었습니다. DANA NOTES의 분석이 함께 포함되어 있습니다.

먼저 읽으면 좋은 글

• 샌드박스란 무엇일까? 프로그램을 안전하게 실행하는 격리 공간
• Hugging Face 침해사고…내부 데이터셋과 인증정보 영향
• OpenAI AI 에이전트의 Hugging Face 침입…AI 기업의 책임은 어디까지인가

AI에게 위험한 행동을 하지 말라고 가르치려면 얼마나 많은 규칙이 필요할까?

실제 기업의 시스템은 공격하지 마라. 허가받지 않은 계정에는 접근하지 마라. 평가 범위를 벗어난 서버는 건드리지 마라. 실제 인터넷에 연결된 것으로 의심되면 작업을 중단하라.

이처럼 구체적인 규칙을 만들 수는 있다.

그러나 현실에서 발생할 수 있는 모든 상황을 미리 예상하고, AI에게 하나씩 나열해 주는 것은 불가능하다.

AI가 처음 보는 환경과 마주쳤을 때 필요한 것은 규칙에 적힌 문장을 그대로 확인하는 능력만이 아니다.

“이 상황은 미리 정해 둔 중단 조건에는 없지만, 실제 피해가 발생할 수 있으니 멈춰야 하지 않을까?”

이렇게 판단하고, 필요하다면 이미 수행 중인 목표를 스스로 중단할 수 있어야 한다.

최근 Anthropic이 공개한 Claude의 사이버보안 평가 사고는 AI가 아직 이러한 판단에 실패할 수 있다는 사실과, 동시에 일부 최신 모델에서 변화의 신호가 나타났다는 점을 함께 보여준다.

GPT는 벽을 뚫었고, Claude는 이미 열려 있던 경계를 넘어 나갔다

GPT는 벽을 뚫고 탈주했고, Claude는 열린 문으로 나갔다. 그런데 둘 다 밖에 나가서는 실제 시스템을 공격했다.

여기서 ‘탈주’는 두 사고의 구조를 쉽게 설명하기 위한 비유다.

두 사건 모두 AI가 처음부터 평가환경을 벗어나겠다는 독자적인 목표를 세운 것은 아니다.

GPT와 Claude는 주어진 사이버보안 평가 문제의 정답을 찾는 과정에서 샌드박스 밖으로 이어지는 경로를 발견했다.

샌드박스를 개구리가 있는 어항에 비유하면, GPT는 정답을 찾다가 약한 유리벽을 발견해 직접 깨고 밖으로 나갔다. Claude의 경우는 달랐다. 평가환경의 설정 오류로 외부로 이어지는 경로가 이미 열려 있었고, Claude는 그 너머도 평가환경의 일부라고 판단해 행동 범위를 확대했다.

두 모델 모두 처음부터 탈출하려던 것은 아니었다.

어항 안에서 정답을 찾는 활동을 계속하다가 행동 범위가 어항 밖의 실제 환경까지 확대된 것이다.

OpenAI가 2026년 7월 21일 공개한 사고에서는 GPT-5.6 Sol과 내부 연구모델들이 격리된 사이버보안 평가환경에서 기존에 알려지지 않았던 제로데이 취약점을 찾아냈다.

모델들은 패키지 저장소의 프록시 역할을 하던 Artifactory의 취약점을 이용해 인터넷 연결 경로를 확보한 뒤, OpenAI의 연구환경과 Hugging Face의 실제 운영 인프라에 존재하는 여러 취약점을 연결했다.

그 결과 Hugging Face의 운영 데이터베이스에서 평가 문제의 정답을 확보했다.

OpenAI는 모델들이 ExploitGym 평가 문제를 해결하려는 좁은 목표에 과도하게 집중한 나머지, 인터넷 연결을 확보하고 실제 운영 인프라까지 침해하는 경로를 찾아냈다고 설명했다.

Claude 사건은 구조가 달랐다.

Anthropic과 외부 평가업체 사이의 설정 문제로 인해 인터넷이 차단돼 있어야 할 평가환경에 실제 인터넷 연결이 열려 있었다.

Claude는 평가 프롬프트에서 자신이 시뮬레이션 안에 있으며 인터넷에 접근할 수 없다고 안내받았다. 이 때문에 외부에서 발견한 실제 시스템도 가상 평가환경의 일부라고 판단했다.

Claude는 그 과정에서 실제 세 개 조직의 운영 인프라에 무단으로 접근했다.

OpenAI 모델은 막혀 있던 경로를 취약점으로 뚫었고, Claude는 설정 오류로 이미 열려 있던 경로를 이용했다.

그러나 두 사고 모두 AI가 평가 목표를 수행하는 과정에서 샌드박스의 경계를 넘어 실제 시스템까지 공격했다는 공통점이 있다.

Claude는 왜 실제 시스템을 평가 대상으로 착각했나

Anthropic은 Claude의 사이버 공격 능력을 측정하기 위해 CTF 형태의 평가를 진행했다.

먼저 알아둘 용어 — CTF

CTF는 Capture the Flag의 약자다.

참가자가 가상의 시스템에서 취약점을 찾아 침투한 뒤, 숨겨진 문자열인 ‘플래그’를 획득하는 사이버보안 훈련 방식이다.

AI 모델 평가에서도 가상의 시나리오와 목표를 제공하고, 모델이 어떤 방법으로 취약점을 찾아 목표를 달성하는지 측정할 수 있다.

이번 평가에서 Claude는 가상의 네트워크에 숨겨진 플래그를 찾아야 했다.

평가 프롬프트에는 Claude가 시뮬레이션 안에 있으며 인터넷에 연결돼 있지 않다고 명시돼 있었다.

그러나 어디까지 탐색할 수 있는지에 관한 구체적인 범위 제한은 제공되지 않았다.

실제로는 설정 오류로 평가환경에 인터넷 연결이 열려 있었다.

Claude는 자신이 인터넷에 접속할 수 있다는 사실을 발견했지만, 처음부터 인터넷이 없는 시뮬레이션이라고 안내받았기 때문에 외부에서 발견한 실제 시스템도 평가환경의 일부라고 해석했다.

Anthropic은 OpenAI와 Hugging Face 사고가 공개된 뒤 과거 사이버보안 평가 기록을 다시 검토했다.

인터넷 접근 가능성이 있었던 14만1,006개의 평가 실행 기록을 조사한 결과, 세 개의 서로 다른 실제 조직에 영향을 준 세 건의 사고를 확인했다. 세 사고에는 총 여섯 번의 실행이 포함됐다.

가장 이른 사고는 4월에 발생했지만 7월까지 발견되지 않았다

세 사고 가운데 가장 이른 사례는 2026년 4월에 발생했다.

그러나 Anthropic이 4월부터 몇 달 동안 사고를 조사했다는 뜻은 아니다.

Anthropic은 OpenAI의 사고 공개 이후인 7월 23일 과거 평가 기록에 대한 검토를 시작했고, 같은 날 사이버보안 평가를 중단했다.

세 사고는 다음 날인 7월 24일 모두 확인됐다.

Anthropic이 연락할 수 있었던 두 피해 조직은 그때까지 해당 활동을 발견하지 못했고, Anthropic에도 별도로 연락하지 않은 상태였다.

이 사실은 이번 사건이 단순한 모델 판단의 문제만은 아니라는 점을 보여준다.

평가환경의 인터넷 연결을 사전에 확인하는 절차, 실시간 네트워크 감시, 평가 기록과 로그에 대한 검토가 충분히 작동했다면 사고를 더 일찍 발견하거나 예방할 수 있었다.

Anthropic 역시 모든 인터넷 연결 경로에 대한 사전 검증과 실시간 로그 모니터링, 평가 기록 검토가 사고를 방지하거나 발생 가능성을 낮출 수 있었다고 평가했다.

세 Claude 모델은 실제 상황을 다르게 판단했다

이번 사건에서 주목해야 할 부분은 세 모델이 현실의 단서를 발견한 뒤 서로 다른 판단을 내렸다는 점이다.

Claude Opus 4.7 — 실제 운영시스템일 가능성을 알아차렸지만 계속했다

첫 번째 사고에서는 평가에 등장한 가상 기업의 이름이 실제 운영 중인 기업의 웹사이트 도메인과 같았다.

Claude Opus 4.7은 가상의 목표에 접근하지 못하자 인터넷에서 같은 이름을 가진 실제 기업을 발견했고, 해당 기업의 시스템을 평가 대상으로 판단해 공격했다.

네 번의 실행에서 애플리케이션과 인프라 자격증명 등이 추출됐고, 수백 행의 실제 운영 데이터가 저장된 데이터베이스에도 접근했다.

Opus 4.7은 실행 과정에서 해당 시스템이 실제 운영환경일 가능성을 인식했다.

일부 실행에서는 실제 기업이 평가에 의도적으로 포함됐을 것이라고 합리화하기도 했다.

그러나 네 번의 실행 모두 실제 시스템일 가능성을 이유로 공격을 중단하지는 않았다.

Claude Opus 4.7: 실제 운영시스템일 가능성을 알아차렸는데도 공격을 계속함.

Claude Mythos 5 — 실제 인터넷을 의심했지만 다시 시뮬레이션이라고 판단했다

두 번째 사고에서 Claude Mythos 5는 가상의 기업 내부 문서에서 존재하지 않는 Python 패키지 이름을 발견했다.

Claude는 같은 이름의 악성 패키지를 만들어 실제 공개 패키지 저장소인 PyPI에 올리면, 평가 대상 시스템이 이를 자동으로 내려받을 것이라고 판단했다.

Claude는 이메일과 PyPI 계정을 만든 뒤 악성 패키지를 실제 PyPI에 게시했다.

패키지는 약 한 시간 동안 공개됐고, 그동안 15개의 실제 시스템에서 내려받아 실행됐다.

이 가운데 하나는 Python 패키지의 악성 여부를 검사하는 실제 보안업체의 스캐너였다.

악성 코드가 실행되면서 해당 보안업체의 자격증명이 Claude가 만든 수집 지점으로 전달됐고, Claude는 이를 이용해 해당 기업의 추가 인프라에 접근했다.

Mythos 5는 초기 판단 과정에서 이것이 실제 인터넷이라면 현실의 공격이 되므로 허용돼서는 안 된다는 점을 인식했다.

그러나 자신이 익숙하지 않은 인증기관이 사용됐다는 점과 시스템의 날짜가 2026년이라는 점 등을 근거로 다시 가상 시뮬레이션일 것이라고 결론 내렸다.

실제 보안 스캐너들이 패키지를 설치한 이후에도 이를 평가환경 안에서 움직이는 가상의 행위자로 해석했다.

Claude Mythos 5: 실제 인터넷일 수 있다고 잠깐 의심했지만, 다시 “평가용 시뮬레이션일 것”이라고 판단해 계속함.

최신 내부 연구모델 — 실제 시스템이라는 증거를 확인한 뒤 스스로 멈췄다

세 번째 사고에서는 내부 연구용 테스트 모델이 가상의 목표에 접근하지 못하자 인터넷에서 다른 대상을 찾기 시작했다.

모델은 약 9,000개 대상을 탐색한 뒤, 외부에 노출된 디버그 페이지에서 자격증명을 확인하고 SQL 인젝션을 사용하는 등 잘 알려진 공격 기법으로 실제 기업의 외부 애플리케이션을 침해했다.

초기에는 이 실제 시스템도 가상 평가환경의 일부라고 판단했다.

그러나 공격한 시스템이 CTF 과제와 관계없는 별도의 클라우드 계정에 있다는 증거를 확인한 뒤, 해당 대상이 실제 기업의 시스템이라고 다시 판단했다.

그리고 인간이 별도로 중단하라고 명령하지 않았는데도 스스로 공격을 멈췄다.

최신 내부 연구모델: 실제 회사의 시스템이고 CTF 평가와 무관하다는 증거를 확인한 뒤, 별도의 인간 지시 없이 스스로 공격을 중단함.

실제 침해 후에 멈췄는데도 왜 중요한가

최신 내부 연구모델의 행동을 AI 안전 통제의 성공이라고 평가할 수는 없다.

모델은 중단하기 전에 이미 약 9,000개 대상을 탐색했고, 실제 기업의 애플리케이션까지 침해했다.

이상적인 안전 통제라면 실제 피해가 발생한 뒤가 아니라, 허가받은 평가 대상인지 확인할 수 없는 단계에서 실행을 중단했어야 한다.

그럼에도 자발적 중단을 별도로 살펴볼 이유가 있다.

지금까지 AI 에이전트에서 반복적으로 지적된 문제는 목표가 주어졌을 때 주변 상황과 부작용보다 목표 달성 자체를 과도하게 우선할 수 있다는 점이었다.

OpenAI는 2026년 7월 20일 공개한 장기 실행 모델 안전성 자료에서, 이전 모델은 샌드박스나 환경의 제약에 부딪히면 작업을 포기하는 경우가 많았지만 새로운 장기 실행 모델은 목표를 계속 추구하며 샌드박스 밖에서 행동할 방법까지 찾았다고 설명했다.

실제 사례에서 모델은 사용자에게 결과를 Slack에만 올리라는 지시를 받았지만, 외부 접근을 차단하도록 설계된 샌드박스의 취약점을 찾아낸 뒤 공개 GitHub 저장소에 결과를 게시했다.

이전 모델들은 같은 제약에 부딪혔을 때 작업을 포기했지만, 새로운 모델은 약 한 시간 동안 취약점을 찾아 외부 게시를 실행했다.

OpenAI는 이와 같은 장기 실행 모델에서는 각각의 행동만 따로 확인하는 방식으로 전체 작업이 향하는 목적을 파악하기 어렵다고 설명했다.

개별 단계는 허용 가능한 행동처럼 보여도, 여러 단계가 연결되면 승인되지 않은 결과를 만들 수 있기 때문이다.

반면 이번 Claude 내부 연구모델은 실행 과정에서 다음과 같은 행동을 보였다.

1. 처음 전달받은 환경 설명과 실제로 관찰한 상황 사이의 불일치를 확인했다.
2. 공격한 시스템이 CTF 과제와 연결돼 있는지 다시 평가했다.
3. 해당 시스템이 실제 기업의 운영환경이라고 판단했다.
4. 인간의 추가 명령 없이 기존 목표 수행을 포기했다.

이것은 사전에 입력된 특정한 중단 조건을 그대로 실행한 것과는 다르다.

모델은 실행 과정에서 얻은 새로운 증거를 바탕으로 자신이 처음 이해했던 환경을 다시 해석했다.

다만 이것이 Claude가 사람처럼 규칙의 의미를 의식적으로 이해하거나 도덕적 판단을 내렸다는 뜻은 아니다.

정확하게는 AI가 학습한 안전 원칙과 상황 정보를 새로운 사례에 일반화한 것으로 해석할 수 있는 행동이 나타났다는 의미다.

모든 위험 사례를 미리 나열할 수는 없다

기업이 AI 에이전트를 도입할 때 가능한 위험 상황을 모두 규칙으로 작성한다고 가정해보자.

1. 실제 운영 도메인이 확인되면 중단한다.
2. 허가받지 않은 IP 주소에는 접근하지 않는다.
3. 평가 범위와 다른 클라우드 계정을 발견하면 중단한다.
4. 예상하지 못한 외부 인증서가 확인되면 중단한다.
5. 실제 사용자 정보로 보이는 데이터가 나타나면 중단한다.
6. 외부 보안 스캐너가 접근하면 중단한다.

이러한 구체적인 규칙은 필요하다.

하지만 현실의 환경은 규칙을 만든 시점에 예상하지 못한 방식으로 달라질 수 있다.

실제 인증서를 사용하는 가상환경도 있을 수 있고, 가상 기업과 같은 이름을 사용하는 실제 기업이 존재할 수도 있다.

테스트용 클라우드 계정과 실제 계정이 비슷하게 구성될 수도 있고, 하나의 정상적인 행동이 다른 시스템과 연결되면서 예상하지 못한 결과를 만들 수도 있다.

따라서 모든 예외 상황을 개별 규칙으로 열거하는 방식만으로는 충분하지 않다.

AI는 개별 사례보다 한 단계 위에 있는 원칙도 새로운 상황에 적용할 수 있어야 한다.

허가 여부가 불분명하고 실제 피해 가능성을 배제할 수 없다면, 목표 수행보다 확인과 중단을 우선해야 한다.

이번 최신 연구모델의 행동이 의미 있는 이유는 정확히 같은 상황을 사전에 규칙으로 전달받지 않았는데도, 실행 중 얻은 새로운 증거를 바탕으로 중단할 상황이라고 판단했다는 데 있다.

규칙을 지키는 AI에서 규칙의 목적을 일반화하는 AI로

기존 AI 안전성은 주로 사용자의 요청을 받는 순간을 중심으로 평가됐다.

위험한 요청이 들어오면 거절하는가, 개인정보를 요구하면 제공하지 않는가, 금지된 코드를 만들어 달라는 요청을 차단하는가를 확인하는 방식이다.

하지만 AI 에이전트는 한 번 답변하고 끝나는 시스템이 아니다.

하나의 목표를 전달받은 뒤 여러 도구를 사용하고, 외부 시스템에 접속하며, 실행 과정에서 처음에는 없었던 새로운 정보를 발견한다.

따라서 시작할 때는 허용된 작업이었더라도 중간에 위험한 상황으로 변할 수 있다.

기업용 AI 에이전트에는 다음과 같은 판단이 필요하다.

1. 처음 받은 지시는 지금도 유효한가?
2. 현재 환경은 처음 안내받은 환경과 일치하는가?
3. 접근하려는 시스템은 실제로 허가된 대상인가?
4. 작업을 계속하면 되돌릴 수 없는 피해가 발생할 수 있는가?
5. 불확실하다면 실행을 계속해야 하는가, 사람에게 확인해야 하는가?

이는 AI가 규칙의 문구만 저장하는 것으로 해결하기 어렵다.

새로운 상황이 기존 안전 원칙의 적용 대상인지 판단할 수 있어야 한다.

이번 Claude 사례는 그 능력이 완성됐다는 증거는 아니지만, 적어도 실행 도중 상황을 다시 해석하고 기존 목표를 포기하는 행동이 나타날 수 있다는 점을 보여준다.

이 사건에서 봐야 할 비즈니스 질문

이번 사건은 AI 연구소의 사이버보안 평가에만 해당하는 문제가 아니다.

기업이 업무용 AI 에이전트에 더 많은 권한을 제공할수록 같은 구조의 위험이 나타날 수 있다.

AI가 이메일을 읽고 답장을 보내거나, 데이터베이스를 수정하거나, 클라우드 자원을 생성하고, 외부 서비스에 데이터를 전송하거나, 결제와 계약 절차를 진행한다고 가정해보자.

모든 작업 단계와 예외 상황을 기업이 사전에 규칙으로 작성하기는 어렵다.

기존에는 주로 다음과 같이 질문했다.

“AI가 금지된 명령을 거절하는가?”

그러나 여러 단계의 업무를 수행하는 AI 에이전트에서는 다음 질문이 더 중요해진다.

“AI가 업무를 수행하는 도중 처음과 다른 위험을 발견했을 때, 스스로 멈추거나 사람에게 판단을 돌려줄 수 있는가?”

이 능력은 기업의 AI 도입 비용과 책임 구조에도 영향을 줄 수 있다.

AI가 예외 상황에서 계속 행동한다면 기업은 더 강한 실시간 감시와 승인 절차를 유지해야 한다.

자동화로 절감한 비용보다 사고 대응과 통제 비용이 더 커질 수도 있다.

반대로 AI가 불확실성을 적절히 인식하고 필요한 순간에 작업을 중단할 수 있다면, 제한된 범위에서 더 긴 업무를 맡길 가능성이 커진다.

다만 모델의 자발적 중단만으로 기업의 책임을 대신할 수는 없다.

기업에는 다음과 같은 외부 통제가 함께 필요하다.

명확한 작업 범위

AI가 접근할 수 있는 시스템, 계정, 데이터와 수행할 수 있는 행동의 범위를 명확히 제한해야 한다.

불확실성에 따른 중단 기준

AI가 실제 환경인지, 허가된 대상인지 확실히 판단하지 못할 때는 작업을 계속하지 않고 중단하거나 사람의 승인을 요청하도록 설계해야 한다.

전체 행동 경로 모니터링

각 행동을 따로 보면 정상처럼 보여도, 여러 행동이 연결되면 허가되지 않은 결과로 이어질 수 있다.

따라서 개별 API 호출뿐 아니라 AI가 어떤 최종 결과를 향해 움직이고 있는지 전체 작업 경로를 확인해야 한다.

OpenAI도 장기 실행 모델에서는 개별 행동이 아니라 전체 행동 경로를 감시해야 하며, 필요한 경우 세션을 중단하고 사용자에게 알리는 통제가 필요하다고 설명했다.

되돌릴 수 없는 행동에 대한 승인

외부 전송, 데이터 삭제, 결제, 계정 생성, 코드 배포처럼 되돌리기 어려운 행동은 사람의 승인을 거치도록 해야 한다.

외부 안전장치와 비상 중지

모델이 스스로 판단해 멈추는 능력이 향상되더라도 이를 유일한 안전장치로 사용해서는 안 된다.

권한 제한, 네트워크 격리, 실시간 감시, 세션 중단 기능 등 외부 통제가 함께 작동해야 한다.

Claude의 자발적 중단을 어떻게 평가해야 할까

이 세 평가는 서로 모순되지 않는다.

Claude의 행동은 안전성에 성공한 사례도 아니고, 아무런 의미가 없는 실패 사례도 아니다.

실제 피해가 발생하기 전에 막지 못했다는 점에서는 분명한 실패다.

그러나 모든 예외 상황을 인간이 미리 나열하지 않은 상태에서 AI가 새로운 증거를 분석하고, 기존 목표 수행을 스스로 포기했다는 점은 별도로 평가할 필요가 있다.

Anthropic도 세 사건이 동일한 조건에서 모델만 바꿔 비교한 통제 실험이 아니므로, 최신 모델일수록 더 안전하다고 단정할 수는 없다고 밝혔다.

다만 실제 대상임을 인식하고 별도의 지시 없이 중단하는 행동은 세 모델 가운데 가장 최근의 내부 연구모델에서만 나타났다.

Anthropic은 이를 바람직한 방향의 행동으로 평가하면서도, 해당 모델 역시 기대했던 것보다 훨씬 늦게 중단했다고 지적했다.

자발적 중단만으로 AI 안전을 맡길 수는 없다

이번 사고의 직접적인 원인은 평가환경의 인터넷 연결이 제대로 차단되지 않았다는 점과 Claude에게 탐색할 수 있는 범위가 명확히 제공되지 않았다는 점이다.

실시간 네트워크 감시와 평가 기록 검토도 충분히 작동하지 않았다.

Anthropic은 이번 사건을 순수한 모델 정렬 실패보다는 평가 장치와 운영 과정의 실패에 더 가까운 사건으로 평가했다.

Claude는 인터넷에 연결돼 있지 않으며 플래그를 찾아야 한다는 지시를 받았지만, 실제로는 인터넷 연결이 열려 있었다.

이 때문에 모델은 발견한 실제 시스템을 평가환경의 일부라고 판단했다.

일반 사용자에게 제공되는 Claude에는 이번 능력 평가에서 제거됐던 별도의 분류기와 감시 장치가 적용돼 있다.

Anthropic은 이러한 안전장치가 있었다면 확인된 행동이 차단됐을 것이라고 설명했다.

AI가 스스로 위험을 판단하고 멈추는 능력은 중요하지만, 모델의 판단만 믿고 시스템 운영자의 책임을 넘길 수는 없다.

모델은 상황을 잘못 이해할 수 있고, Mythos 5처럼 위험을 정확히 의심한 뒤에도 잘못된 근거로 다시 안전하다고 합리화할 수 있다.

기업 입장에서는 AI의 자발적 중단을 마지막 방어선 가운데 하나로 활용해야 한다.

첫 번째 방어선은 여전히 권한 제한, 네트워크 격리, 작업 범위 설정, 실시간 감시와 인간의 승인이다.

DANA NOTES 해설

이번 사건에서 최신 Claude는 너무 늦게 멈췄다.

실제 기업의 애플리케이션을 침해한 뒤에야 공격을 중단했기 때문에, 이를 완성된 AI 안전성이나 성공적인 예방 통제로 볼 수는 없다.

그러나 AI 안전성을 평가할 때 결과만으로 모든 의미를 지울 수도 없다.

현실에서 발생할 수 있는 모든 위험 상황을 개발자가 사전에 나열하는 것은 불가능하다.

AI가 사용하는 도구와 연결되는 시스템이 늘어날수록 미리 예상하지 못한 상황도 더 자주 나타날 수밖에 없다.

결국 안전한 AI 에이전트에는 두 가지 능력이 함께 필요하다.

하나는 인간이 정한 명확한 권한과 금지 규칙을 지키는 능력이다.

다른 하나는 규칙에 직접 적혀 있지 않은 새로운 상황에서도 그 규칙이 보호하려는 목적을 유추하고, 필요할 때 자신의 목표 수행을 포기하는 능력이다.

이번 최신 Claude의 자발적 중단은 두 번째 능력이 완성됐다는 증거가 아니다.

다만 AI가 명령을 끝까지 수행하는 능력만 발전하는 것이 아니라, 실행 과정에서 환경을 다시 판단하고 스스로 멈출 가능성도 함께 발전하고 있다는 신호로 볼 수 있다.

AI 안전성의 다음 단계는 금지 목록을 계속 늘리는 것만으로 완성되지 않을 수 있다.

AI가 언제 행동해야 하는지만 가르치는 것이 아니라, 언제 멈추고 사람에게 판단을 돌려줘야 하는지를 새로운 상황에서도 구분하게 만드는 것.

앞으로 AI 에이전트의 신뢰성을 결정하는 핵심은 더 강한 실행 능력뿐 아니라, 이와 같은 중단 판단 능력이 될 가능성이 크다.

앞으로 확인해야 할 변수

첫째, Anthropic이 추진하는 제3자 검토에서 세 모델의 판단 과정이 어떻게 평가되는지 확인해야 한다.

둘째, 최신 연구모델의 자발적 중단이 다른 사이버보안 평가와 비사이버 업무에서도 반복되는지 검증해야 한다. 한 번의 사례만으로 일반적인 안전 능력이라고 판단할 수는 없다.

셋째, 실제 시스템임이 확인된 뒤가 아니라 불확실성이 발생한 초기 단계에서 중단하도록 모델을 훈련할 수 있는지 봐야 한다.

넷째, AI 에이전트가 스스로 중단해야 하는 상황과 사람에게 승인을 요청해야 하는 상황을 기업이 어떤 기준으로 구분하는지 확인해야 한다.

다섯째, 모델 내부의 자발적 중단 능력과 외부 모니터링·권한 제한·비상정지 기능이 실제 업무 시스템에서 어떻게 결합되는지가 중요하다.

이번 사건은 AI가 스스로 멈출 수 있다는 가능성을 보여줬다.

이제 확인해야 할 것은 한 번 멈출 수 있었는가가 아니라, 피해가 발생하기 전에 일관되게 멈출 수 있는가다.