유의사항
본 글은 2026년 7월 24일 기준 공개된 SentinelLabs의 AI 보안 평가 연구와 관련 보안 자료를 바탕으로 작성되었습니다. DANA NOTES의 분석이 함께 포함되어 있습니다.
이 글에서 다루는 내용
AI 모델의 성능은 빠르게 발전하고 있다. 최신 AI는 코드를 작성하거나 오류를 찾는 것을 넘어 소프트웨어의 구조를 분석하고 악성코드의 동작을 추적하는 업무에도 활용되고 있다.
하지만 실제 업무는 하나의 문제를 풀고 끝나는 경우보다 여러 판단이 연결되면서 오랜 시간 이어지는 경우가 많다.
처음에는 맞다고 생각했던 판단이 새로운 정보 때문에 틀린 것으로 드러날 수도 있다. 문제는 그 판단을 바탕으로 이미 여러 작업이 진행된 이후다.
이때 AI는 자신이 틀렸다는 사실을 알아차릴 수 있을까?
그리고 단순히 현재의 답만 고치는 것이 아니라, 잘못된 판단을 바탕으로 이전에 만들어놓은 분석과 파일까지 찾아 다시 수정할 수 있을까?
사이버보안 기업 SentinelOne의 연구 조직 SentinelLabs는 실제 악성코드 분석을 이용해 이러한 능력을 평가하는 새로운 AI 평가 체계(벤치마크)를 공개했다.
벤치마크는 여러 AI 모델의 성능을 동일한 조건에서 비교하기 위한 평가 체계를 말한다.
Fast16을 이용한 두 번째 AI 도전
이번 연구 이전에도 Fast16을 AI에게 분석시키는 시도가 있었다.
2026년 4월 23일 , SentinelLabs의 Vitaly Kamluk은 Black Hat Asia에서 당시 최신 AI 모델들에게 Fast16을 자율적으로 분석하도록 한 결과를 공개했다.
Opus 4.6, GPT-5.4, Grok 4.2 Reasoning, Gemini 3.1 Pro, DeepSeek Reasoner 등이 Fast16 분석에 도전했지만 결과는 좋지 않았다.
가장 나은 경우에도 AI는 Fast16을 루트킷(rootkit)이라고 판단한 뒤 그 설명에서 더 나아가지 못했다.
루트킷은 시스템 깊숙한 곳에 숨어 자신의 존재나 다른 악성 행위를 감추는 악성 도구를 말한다.
즉 1차 시도에서는 AI가 Fast16을 자율적으로 분석했지만, Fast16의 더 깊은 구조와 실제 목적까지 연결하지 못한 채 처음 내린 ‘루트킷’이라는 설명에 머물렀다.
한편 AI가 혼자 전체 분석을 수행했을 때와 달리 인간과 AI가 협업했을 때는 상당한 효과도 확인됐다.
숙련된 보안 분석가가 원래 약 3주에 걸쳐 수행했던 분석 작업을 경험이 상대적으로 적은 보안 분석가가 AI와 함께 약 8~10시간에 수행할 수 있었다.
즉 AI가 인간을 완전히 대체하는 단계에는 도달하지 못했지만, 사람이 방향을 판단하고 AI와 함께 분석을 진행하는 방식에서는 상당한 생산성 향상 가능성을 보여준 것이다.
약 3개월 뒤인 2026년 7월 22일, SentinelLabs는 평가 방법을 바꾼 새로운 연구 결과를 공개했다.
이번에는 실제 Fast16 조사 과정을 8단계로 나눴다.
그리고 AI가 분석 작업을 진행하는 동안 사람이 새로운 자료와 증거를 단계적으로 AI에게 제공했다.
AI는 새로운 자료가 들어올 때마다 지금까지 자신이 분석한 내용과 새로운 정보를 연결하면서 다음 작업을 수행해야 했다.
특히 새로운 증거가 기존 판단과 충돌할 경우 현재의 답만 바꾸는 것이 아니라, 그 잘못된 판단의 영향을 받은 과거 분석까지 찾아 수정할 수 있는지를 평가했다.
두 연구의 공개 시점 차이는 약 3개월로 길지 않다. 다만 두 실험은 사용된 모델과 평가 방식이 모두 달랐기 때문에, 결과의 차이를 단순히 AI 모델 자체의 성능 변화만으로 설명하기는 어렵다. 특히 두 번째 연구에서는 AI에게 업무를 맡기고 평가하는 방식 자체가 달라졌다.
이번 평가에서 GPT-5.5는 첫 번째 단계를 벗어나지 못했다.
GLM-5.2도 부분적인 분석과 오류 복구 능력을 보여줬지만 전체 과정을 완료하지 못했다.
Opus 4.7과 4.8은 더 많은 단계까지 진행했지만 8단계 전체를 끝내지는 못했다.
반면 GPT-5.6 Sol은 서로 다른 설정으로 진행된 세 번의 실험에서 모두 8단계 전체를 완료했다.
이 실험으로 알고 싶었던 것은 무엇일까?
이번 연구의 목적은 단순히 어떤 AI가 악성코드를 가장 정확하게 분석하는지를 비교하는 것이 아니었다.
SentinelLabs가 이번 평가에서 확인하려 한 핵심은 다음과 같다.
새로운 증거가 기존 판단을 뒤집었을 때에도 AI가 전체 조사 과정을 다시 신뢰할 수 있는 상태로 회복할 수 있는가?
조금 더 쉽게 풀어보면 이런 질문이다.
“AI는 자신이 틀렸다는 사실을 발견했을 때 어디까지 되돌아갈 수 있는가?”
단순히 지금 내놓은 답 하나를 수정하는 것이 아니라, 그 잘못된 판단을 바탕으로 이미 만들어진 분석과 파일까지 찾아 수정할 수 있는지를 보는 것이다.
법원의 판례를 생각하면 이해하기 쉽다.
법원에서 판례는 이후 판단의 중요한 기준이 된다. 사회 환경이나 인식이 달라져도 기존 판례를 뒤집으려면 그동안 축적된 판단의 근거를 다시 검토해야 한다.
장기 작업을 수행하는 AI 에이전트도 비슷한 문제가 생길 수 있다.
초기에 하나의 잘못된 판단을 내리고 그 판단을 기준으로 이후 분석과 파일을 계속 만든다면, 시간이 지날수록 단순히 첫 결론 하나만 고쳐서는 해결되지 않는다.
그동안 만들어진 결과물 가운데 무엇이 잘못된 판단의 영향을 받았는지 다시 찾아야 하고, 필요한 부분은 함께 수정해야 한다.
이번 연구는 바로 이 능력을 실제 악성코드 분석 과정을 통해 평가한 것이다.
왜 하필 Fast16이었을까?
세상에는 수많은 악성코드가 있다.
그런데 SentinelLabs가 Fast16을 선택한 이유는 단순히 오래된 악성코드이거나 분석하기 어려운 악성코드이기 때문만은 아니다.
Fast16은 처음 보이는 모습만 보고 판단하면 잘못된 결론에 도달하기 쉬운 구조를 가지고 있다.
SentinelLabs는 Fast16의 계층적인 구조가 “얕은 분석을 벌준다”고 설명한다. 겉에서 보면 커널 드라이버가 파일시스템 루트킷으로 오인되기 쉽지만, 실제로는 그 안에 101개의 패치 규칙을 가진 패치 엔진이 들어 있다.
즉 겉으로 드러난 특징만 보고 성급하게 결론을 내리기 쉽지만, 실제 목적을 파악하려면 내부 구조와 여러 단서를 계속 연결해 분석해야 하는 악성코드다.
Fast16 자체의 배경도 특이하다.
Fast16은 2005년경 만들어진 것으로 추정되는 악성코드다. 공학 분야에서 쓰이는 고정밀 시뮬레이션 프로그램(LS-DYNA)의 계산 과정에 개입해 결과를 몰래 바꾸도록 설계된 것으로 분석됐으며, 이란 핵시설 공격으로 알려진 스턱스넷보다 최소 5년 앞선 사례로 주목받았다.
따라서 Fast16은 단순히 한 번에 정답을 찾는 능력보다 처음 내린 판단을 의심하고, 새로운 증거를 받아들이고, 필요하면 자신의 이전 해석을 버릴 수 있는지를 평가하기에 적합한 사례였다.
GPT-5.6 Sol은 언제 자신의 판단이 틀렸다는 것을 알았을까?
흥미로운 점은 8단계를 모두 완료한 GPT-5.6 Sol도 처음부터 모든 판단을 정확하게 내린 것은 아니라는 것이다.
GPT-5.6 Sol은 분석 과정에서 Fast16의 일부 패턴이 LS-DYNA뿐 아니라 다른 프로그램에서도 발견된다는 사실을 확인했다.
처음에는 이 결과를 보고 Fast16이 특정 프로그램을 방해하기 위한 악성코드가 아니라 여러 프로그램에서 사용할 수 있도록 만든 일종의 호환성 도구일 가능성을 제기했다.
하지만 분석을 더 진행하자 차이가 나타났다.
LS-DYNA에서는 여러 패턴이 서로 연결돼 실제 프로그램의 동작을 변경했지만, 다른 프로그램에서 발견된 패턴은 우연히 비슷한 코드와 맞아떨어진 경우에 가까웠다.
여기서 GPT-5.6 Sol은 처음 세운 설명이 맞지 않는다는 사실을 확인했다.
그리고 기존 가설을 철회했다.
이전 분석에서 실제로 확인한 사실 가운데 맞는 부분은 그대로 남기고, Fast16이 LS-DYNA의 정상적인 동작을 의도적으로 방해하기 위한 악성코드라는 설명을 다시 기준으로 세웠다.
여기에서 끝나지 않았다.
이미 틀렸다고 판단한 가설이 이후 분석에서 다시 사실처럼 사용되지 않도록 작업 기록까지 수정했다.
즉 단순히 새로운 답을 내놓은 것이 아니다.
자신의 이전 판단이 틀렸다는 사실을 확인하고, 그 판단을 기준으로 만들어진 프로젝트의 상태까지 수정한 것이다.
SentinelLabs는 이러한 능력을 Project-scale recovery, 즉 프로젝트 전체 수준의 복구 능력으로 설명한다.
다만 한 가지는 분명하게 구분해야 한다.
이 수정 과정 자체는 GPT-5.6 Sol이 수행했지만, 전체 평가가 인간의 개입 없이 완전히 자율적으로 운영된 것은 아니다.
연구진은 조사 목표를 설정하고 새로운 자료와 증거를 단계적으로 제공했으며, 중요한 맹점을 지적하고 최종 결과물의 품질과 발행 여부를 판단했다.
현재 가장 뛰어난 결과를 보여준 AI 에이전트 역시 숙련된 보안 분석가의 감독이 필요한 수준이라는 의미다.
이번 실험에서 드러난 또 하나의 능력
장기 작업에 필요한 능력은 잘못된 판단을 수정하는 것만이 아니었다.
GLM-5.2의 실험에서는 조금 다른 문제가 발생했다.
분석 과정에서 작업 중이던 113개의 임베디드 함수가 유실되는 오류가 발생한 것이다.
하지만 GLM-5.2는 이전 백업을 찾아 해당 내용을 복구한 뒤 다시 분석을 이어갔다.
GLM-5.2가 전체 8단계를 완료한 것은 아니지만 이 사례는 중요한 점을 보여준다.
AI 에이전트에게는 생각을 잘하는 능력만 필요한 것이 아니다.
지금까지 무엇을 했는지 저장하고, 이전 작업 상태를 유지하며, 문제가 발생했을 때 정상적인 상태로 되돌아갈 수 있는 구조도 필요하다.
결국 AI 에이전트의 실제 성능은 어떤 AI 모델을 사용하는가만으로 결정되지 않을 수 있다.
작업 기록과 파일을 어떻게 관리하는지, 이전 상태를 어떻게 저장하는지, 오류가 발생했을 때 어디까지 복구할 수 있도록 만들어졌는지 같은 운영 시스템도 함께 중요하다.
왜 장기 업무에서는 이런 능력이 중요할까?
사람이 직접 업무를 수행한다고 생각해보자.
Input → Process → Output
사람은 입력값을 받고 직접 업무 과정을 수행한 뒤 결과를 만든다.
따라서 결과에 문제가 생기면 자신이 어떤 과정을 거쳤는지를 되짚어볼 수 있다.
“어디서부터 잘못됐지?”
라고 생각하면서 이전 과정을 하나씩 다시 확인할 수 있는 것이다.
하지만 AI 에이전트에게 업무 과정 대부분을 맡기기 시작하면 구조가 달라진다.
Input → AI Agent → Output
사람은 무엇을 입력했는지와 어떤 결과가 나왔는지는 알고 있다.
하지만 그 사이에서 AI가 수많은 자료를 확인하고, 판단을 내리고, 파일을 만들고 수정하는 모든 과정을 사람이 직접 수행한 것은 아니다.
따라서 어떤 판단이 어떤 결과의 근거가 됐는지를 사람이 직접 업무를 수행했을 때만큼 쉽게 파악하기 어려울 수 있다.
짧은 대화형 AI에서는 답변이 틀렸다면 사용자가 다시 질문하거나 내용을 직접 확인할 수 있다.
하지만 AI 에이전트가 하루, 이틀 또는 그 이상 하나의 프로젝트를 수행하면 상황이 달라진다.
초기에 잘못된 판단 하나가 만들어지고 그 판단을 바탕으로 새로운 분석과 파일이 계속 생성되면 오류의 영향 범위도 함께 커진다.
사람이 직접 업무를 수행했다면 전체 과정을 알고 있기 때문에 결과에 문제가 생겼을 때 이전 과정을 하나씩 되짚어볼 수 있다.
하지만 기업이 AI 에이전트에게 업무 과정 대부분을 맡기기 시작하면 사람은 입력값과 최종 결과만 알고, 중간에 AI가 어떤 판단을 거쳤는지는 충분히 알지 못할 수 있다.
이 경우 최종 결과가 잘못됐다는 사실을 발견하는 것부터 어려워질 수 있다.
문제를 발견하더라도 정확한 원인을 확인하려면 AI가 수행했던 과정을 다시 검토해야 한다. 경우에 따라서는 사람이 기존 방식으로 업무를 처음부터 다시 수행해야 결과를 검증할 수도 있다.
하지만 사람이 전체 업무를 다시 수행해야 한다면 AI를 도입해 절감하려던 시간과 비용이 다시 발생한다.
오히려 AI가 만든 결과와 과정을 검증하는 비용까지 추가될 수 있다.
따라서 기업 입장에서 중요한 것은 AI 에이전트가 얼마나 많은 업무를 자동화하는지만이 아니다.
잘못된 판단이 발생했을 때 어느 단계에서 문제가 생겼는지 추적할 수 있는지, 그 판단의 영향을 받은 결과물을 찾아 수정할 수 있는지, 그리고 사람이 전체 업무를 다시 수행하지 않고도 결과를 검증할 수 있는지가 중요해질 수 있다.
AI 에이전트에 대한 신뢰도 역시 이 문제와 연결된다.
한 번 중요한 업무에서 AI가 잘못된 결과를 만들었는데 기업이 그 원인이나 영향 범위를 확인하지 못한다면, 조직은 이후 AI가 만든 다른 결과까지 신뢰하기 어려워질 수 있다.
따라서 장기적으로는 AI 모델의 정확도뿐 아니라 과정의 추적 가능성, 오류 복구 능력, 검증 비용이 AI 에이전트 도입의 중요한 평가 기준이 될 가능성이 있다.
기업은 무엇을 봐야 할까?
1) 검증 비용
AI가 업무를 빠르게 수행했다는 사실만으로 비용이 절감됐다고 판단하기는 어렵다.
예를 들어 사람이 며칠 동안 해야 했던 분석을 AI가 몇 시간 안에 끝냈다고 하더라도, 그 결과가 맞는지 확인하기 위해 사람이 동일한 업무를 처음부터 다시 수행해야 한다면 이야기가 달라진다.
AI를 도입해 줄이려고 했던 업무 시간이 검증 과정에서 다시 발생하기 때문이다.
경우에 따라서는 기존 업무 비용에 AI 사용 비용과 AI가 만든 결과를 검증하는 비용까지 추가될 수도 있다.
따라서 기업은 AI가 업무를 얼마나 빨리 수행하는지만 볼 것이 아니라 사람이 전체 과정을 다시 수행하지 않고도 AI가 만든 결과를 검증할 수 있는가를 함께 확인해야 한다.
2) 신뢰
AI가 중요한 업무에서 한 번 틀린 결과를 만들었다는 것보다 더 큰 문제는 왜 틀렸는지, 그리고 그 오류가 어디까지 영향을 미쳤는지 알 수 없는 상황일 수 있다.
하나의 오류가 발견됐는데 그 원인과 영향 범위를 확인할 수 없다면 조직은 해당 결과만 의심하는 데서 끝나지 않을 수 있다.
“그러면 이 AI가 전에 만든 다른 결과는 괜찮은가?”
라는 의문으로 이어질 수 있다.
AI 에이전트에 대한 신뢰가 한번 크게 낮아지면 이를 다시 회복하기 위해 더 많은 검증 절차와 사람의 개입이 필요해질 수도 있다.
따라서 AI 에이전트의 신뢰성은 단순한 정답률뿐 아니라 오류가 발생했을 때 그 원인을 추적하고, 영향을 받은 결과까지 제대로 수정할 수 있는가와도 연결된다.
3) 투자 판단
기업의 AI 투자는 앞으로 가장 성능이 좋은 AI 모델을 선택하는 것만으로 끝나지 않을 가능성이 크다.
같은 AI 모델을 사용하더라도 작업 내용을 얼마나 잘 기록하는지, 이전 상태를 저장하는지, 문제가 발생했을 때 어디까지 되돌아갈 수 있는지에 따라 실제 업무에서의 성능은 달라질 수 있다.
따라서 기업의 AI 투자는 앞으로 모델 사용 비용뿐 아니라 AI 에이전트를 안정적으로 운영하고 관리하는 시스템에 대한 투자로 확대될 가능성이 있다.
실제 경제성을 계산하는 방식도 달라져야 한다.
단순히 AI가 업무를 몇 시간 만에 끝냈는지만 볼 것이 아니라,
AI의 작업 비용 + 인간의 검증 비용 + 오류가 발생했을 때의 수정 비용
까지 함께 고려해야 실제 AI 도입 효과를 판단할 수 있다.
결국 기업에서는 AI가 사람보다 몇 배 빠른가보다 한 명의 사람이 몇 개의 AI 에이전트를 신뢰할 수 있는 수준으로 관리할 수 있는가가 더 중요한 생산성 지표가 될 수도 있다.
앞으로 주목할 점
첫째, 사람의 감독을 어디까지 줄일 수 있는가를 볼 필요가 있다.
이번 연구에서는 8단계를 모두 완료한 GPT-5.6 Sol도 완전히 인간과 독립적으로 작업한 것은 아니었다.
앞으로 사람이 모든 과정을 확인해야 하는 단계에서 중요한 지점만 검토하는 단계로, 다시 최종 결과만 승인하는 단계까지 발전할 수 있는지가 중요하다.
둘째, 며칠 이상 이어지는 실제 업무의 신뢰성을 평가하는 방식이 다른 분야에도 확산되는지 주목할 필요가 있다.
소프트웨어 개발, 연구, 데이터 분석, 기업 보고서 작성에서도 한 번의 문제를 정확하게 푸는 능력과 며칠 동안 이어지는 프로젝트를 안정적으로 수행하는 능력은 다를 수 있다.
따라서 앞으로는 AI가 처음에 얼마나 좋은 답을 내놓았는지만 평가하는 것이 아니라, 업무가 길어져도 결과의 신뢰성을 유지하고 잘못된 판단을 발견했을 때 이전 작업까지 수정할 수 있는지를 평가하는 방식이 중요해질 수 있다.
셋째, 실제로 비용 절감 효과가 나타나는지 확인해야 한다.
AI가 사람보다 빠르게 일한다는 것만으로 기업의 생산성이 높아지는 것은 아니다.
결과 검증과 오류 수정에 다시 많은 사람의 시간이 필요하다면 실제 비용 절감 효과는 예상보다 작을 수 있다.
반대로 AI 에이전트가 자신의 작업 과정을 남기고, 오류를 추적하고, 잘못된 판단이 영향을 준 범위까지 복구할 수 있다면 한 명의 사람이 더 많은 AI 에이전트를 관리할 수 있다.
결국 AI 에이전트의 경제성은 사람의 일을 몇 퍼센트 자동화했는가보다 사람 한 명이 얼마나 많은 AI 업무를 신뢰할 수 있는 수준으로 관리할 수 있는가에서 결정될 가능성이 있다.
DANA NOTES 해설
이번 연구가 보여주는 핵심은 AI 에이전트의 성능을 단순한 정답률만으로 평가하기 어려워지고 있다는 점이다.
GPT-5.6 Sol도 분석 중간에 잘못된 가설을 세웠다. 절대 틀리지 않는 것이 목표가 아니다.
중요한 것은 새로운 정보가 들어왔을 때 기존 판단과 맞지 않는다는 사실을 발견하고, 이전 과정을 다시 검토할 수 있는가다.
다른 모델과 결과가 달라진 이유도 틀리지 않았기 때문이 아니라, 자신의 기존 설명과 새로운 증거가 맞지 않는다는 사실을 확인한 뒤 이전 판단을 철회하고 그 판단이 영향을 준 작업까지 다시 수정했기 때문이다.
대화형 AI에서는 사람이 대화를 보고 있다. 이상한 답이 나오면 바로 질문하거나 이전 답변과 비교할 수 있다.
하지만 AI 에이전트에게 긴 업무 과정 자체를 맡기면 상황이 달라진다. 하나의 잘못된 판단이 이후 수많은 분석과 파일의 전제가 될 수 있다.
AI 에이전트가 자신이 틀린 방향으로 가고 있다는 사실조차 알아차리지 못한다면, 자동화되는 것은 업무만이 아니다. 잘못된 판단이 확장되는 과정까지 자동화될 수 있다.
따라서 장기 업무를 수행하는 AI 에이전트에게는 단순히 다음번에 정답을 맞히는 능력보다, 자신이 어디에서 잘못 판단했는지 확인하고 그 영향을 받은 작업까지 다시 정상적인 상태로 복구하는 능력이 중요해질 수 있다.
GLM-5.2 사례가 보여준 것처럼 지금까지의 작업 상태를 저장하고 문제가 생겼을 때 복구할 수 있는 시스템도 함께 필요하다.
결국 AI 에이전트가 실제 기업 업무로 들어갈수록 정답률뿐 아니라 자신의 판단을 다시 점검하고, 오류가 발생했을 때 어디까지 되돌릴 수 있는가가 중요한 성능 기준이 될 가능성이 있다.
