유의사항
본 글은 2026년 7월 16일 arXiv에 공개된 논문 「Pretraining Data Can Be Poisoned through Computational Propaganda」를 바탕으로 작성한 해설 콘텐츠입니다.
해당 논문은 동료평가가 완료되지 않은 사전 공개 연구이며, 현재 운영 중인 특정 상용 AI 모델이 실제로 이러한 방식으로 오염되었다는 사실을 입증한 연구는 아닙니다.
이 글에서 다루는 내용
조직적인 온라인 정보조작이란 무엇일까?
이번 연구의 제목에 사용된 컴퓨테이셔널 프로파간다(Computational Propaganda)는 봇, 자동화 기술, 알고리즘, 반복 게시 등을 이용해 특정 주장이나 정보를 온라인에 조직적으로 확산하는 활동을 의미합니다.
단순히 개인이 잘못된 정보를 한두 번 게시하는 것과는 다릅니다.
여러 계정과 자동화 도구를 이용해 같은 주장을 반복적으로 노출하거나, 비슷한 내용의 게시물을 여러 웹사이트에 동시에 확산하는 방식이 포함됩니다.
이 글에서는 독자의 이해를 돕기 위해 이를 ‘조직적인 온라인 정보조작’이라고 표현합니다.
기존에는 이러한 활동이 주로 사람의 여론과 판단에 영향을 주는 문제로 논의됐습니다.
그러나 웹에 공개된 콘텐츠가 AI 모델의 학습데이터로 사용되기 시작하면서 새로운 위험이 등장했습니다.
공격자가 인터넷에 특정 주장이나 잘못된 정보를 반복적으로 배포하면, 해당 콘텐츠를 사람이 읽는 데서 끝나지 않고 웹을 수집하는 크롤러와 미래의 AI 모델이 읽게 될 수 있기 때문입니다.
조직적인 온라인 정보조작의 영향 대상이 사람뿐 아니라 AI 학습시스템으로 확대될 수 있다는 의미입니다.
공격자는 AI 기업을 직접 해킹하지 않아도 된다
일반적인 데이터 포이즈닝 공격을 생각하면 공격자가 AI 기업의 서버나 데이터셋에 직접 침입하는 모습을 떠올리기 쉽습니다.
하지만 이번 연구가 다룬 공격 방식은 다릅니다.
공격자는 AI 기업의 내부 시스템이나 학습데이터 저장소에 직접 접근하지 않습니다.
대신 댓글, 게시판, 공개 토론 공간처럼 외부 사용자가 콘텐츠를 작성할 수 있는 웹 기능을 이용합니다.
공격 과정은 다음과 같이 진행될 수 있습니다.
- 공격자가 여러 웹사이트에 특정 주장이나 잘못된 정보를 게시합니다.
- 웹 크롤러가 해당 페이지를 수집합니다.
- 웹페이지의 본문과 댓글이 텍스트로 추출됩니다.
- 추출된 문서가 언어 판별과 품질 필터링을 통과합니다.
- 살아남은 조작 콘텐츠가 AI 사전학습 데이터에 포함됩니다.
- 학습된 모델이 이후 비슷한 질문에 특정 주장이나 선호를 반복할 수 있습니다.
이 공격의 특징은 AI 데이터셋을 직접 공격하는 것이 아니라, 데이터셋의 원천이 되는 웹 환경을 먼저 조작한다는 것입니다.
즉, 공격 대상은 완성된 학습데이터가 아니라 학습데이터가 만들어지기 전 단계의 정보 생태계입니다.
댓글도 AI 학습데이터에 들어갈 수 있다
웹페이지에는 운영자가 작성한 본문만 존재하지 않습니다.
댓글, 사용자 후기, 게시판 답변, 공개 프로필처럼 외부 사용자가 작성한 콘텐츠도 함께 표시됩니다.
사람은 본문과 댓글을 쉽게 구분할 수 있지만, 웹 크롤러와 텍스트 추출 시스템이 항상 이를 명확하게 구분하는 것은 아닙니다.
페이지의 HTML에 댓글이 일반 텍스트 형태로 포함되어 있다면, 크롤러가 본문과 함께 댓글까지 수집할 수 있습니다.
연구진은 Common Crawl에서 추출한 18만 개 이상의 웹페이지를 분석했습니다.
이 가운데 약 3.4%에서 댓글 플랫폼의 흔적이 발견됐습니다.
연구진이 댓글이 있는 페이지에 실험용 콘텐츠를 삽입한 뒤 텍스트 추출 과정을 재현한 결과, 삽입된 댓글의 약 71.9%가 추출된 텍스트에 남았습니다.
이후 언어 판별, 문서 품질 평가, 반복 제거 등의 데이터 정제 단계를 적용했을 때 최종 학습데이터에 포함될 것으로 추정된 비율은 전체 시도 기준 약 **0.13%**였습니다.
0.13%는 작은 숫자로 보일 수 있습니다.
그러나 AI 사전학습 데이터는 수십억 개의 문서와 방대한 양의 텍스트로 구성될 수 있습니다.
전체 데이터 규모가 커지면 낮은 포함 비율도 상당한 수의 문서로 확대될 수 있습니다.
중요한 것은 모든 조작 콘텐츠가 살아남는지가 아닙니다.
자동화를 통해 대량의 콘텐츠를 배포했을 때 일부가 실제 학습데이터까지 도달할 수 있는지가 핵심입니다.
HALFLIFE는 무엇을 측정했을까?
연구진은 조작 콘텐츠가 최종 학습데이터까지 살아남는 과정을 분석하기 위해 HALFLIFE라는 분석 방식을 제안했습니다.
HALFLIFE는 콘텐츠 삽입 시도가 다음 세 단계를 통과할 가능성을 나누어 측정합니다.
1. 웹페이지에 콘텐츠를 삽입할 수 있는가?
웹페이지에 댓글이나 공개 게시 기능이 있어 외부 사용자가 콘텐츠를 작성할 수 있는지를 확인합니다.
공격자가 사이트 운영 권한을 가지고 있지 않더라도, 공개된 댓글 기능을 이용해 콘텐츠를 추가할 수 있다면 첫 번째 조건이 충족됩니다.
2. 크롤러가 삽입된 콘텐츠를 수집하는가?
웹페이지에 표시된 댓글이 실제 HTML과 크롤링 결과에 포함되는지를 확인합니다.
사람의 화면에는 보이더라도 별도의 스크립트로 불러오는 콘텐츠라면 일반적인 크롤러에는 수집되지 않을 수 있습니다.
3. 데이터 정제 과정에서 제거되지 않는가?
수집된 댓글이 언어 판별, 품질 평가, 중복 제거와 같은 필터링 단계를 통과하는지를 확인합니다.
이 세 단계 가운데 하나라도 실패하면 해당 콘텐츠는 최종 학습데이터에 들어가지 않습니다.
반대로 적은 비율이라도 세 단계를 모두 통과한다면, 대규모 자동 게시를 통해 최종 데이터에 영향을 줄 가능성이 생깁니다.
HALFLIFE의 핵심은 조작 콘텐츠가 웹에 존재하는지만 보는 것이 아니라, 실제 데이터 처리 파이프라인을 끝까지 통과할 수 있는지를 분석하는 것입니다.
학습데이터에 들어간 콘텐츠는 모델에 영향을 줄까?
콘텐츠가 학습데이터에 포함됐다고 해서 실제 모델이 반드시 영향을 받는 것은 아닙니다.
연구진은 데이터 포함 가능성뿐 아니라 모델의 응답에도 변화가 발생하는지 확인하기 위해 별도의 통제 실험을 진행했습니다.
연구진은 6,500만 개에서 13억 개의 매개변수를 가진 여러 크기의 모델을 학습시키면서, 전체 학습 토큰 가운데 0.001%, 0.01%, 0.1%를 특정 기업이나 제품을 선호하도록 작성된 콘텐츠로 구성했습니다.
실험 결과 사전학습만 완료된 기본 모델에서는 공격자가 의도한 대상을 선호하는 방향으로 응답 확률이 이동했습니다.
이후 지도 미세조정을 적용하면 오염 효과가 줄어들었고, 특히 규모가 큰 모델에서는 감소 폭이 더 컸습니다.
그러나 모든 조건에서 영향이 완전히 사라진 것은 아니었습니다.
또한 User와 Assistant 같은 눈에 띄는 대화 표시를 제거하고, 일반적인 질문과 답변 또는 자연스러운 문장 형태로 작성한 콘텐츠도 기본 모델의 선호에 영향을 주었습니다.
이는 특정 문구나 대화 형식만 탐지해 제거하는 방식으로는 데이터 오염을 충분히 막기 어렵다는 점을 보여줍니다.
조작 콘텐츠가 일반적인 글처럼 자연스럽게 작성돼 있다면, 기존의 품질 필터가 이를 정상적인 콘텐츠로 판단할 가능성도 있습니다.
모든 웹 콘텐츠가 같은 공격 통로가 되는 것은 아니다
웹사이트에 외부 콘텐츠가 표시된다고 해서 모든 콘텐츠가 학습데이터 오염에 이용될 수 있는 것은 아닙니다.
연구진은 댓글뿐 아니라 프로그래매틱 광고도 분석했습니다.
광고 역시 제3자가 웹페이지에 콘텐츠를 노출하는 방식이지만, 많은 광고는 페이지가 열린 뒤 별도의 스크립트를 통해 불러옵니다.
이 때문에 일반적인 DOM 기반 크롤링과 텍스트 추출 과정에서는 광고 문구가 수집된 일반 텍스트에 남지 않을 수 있습니다.
연구진은 이번 실험 조건에서 프로그래매틱 광고가 효과적인 텍스트 데이터 포이즈닝 통로가 되기는 어렵다고 판단했습니다.
중요한 것은 웹페이지에서 콘텐츠가 사람의 눈에 보이는지 여부가 아닙니다.
해당 콘텐츠가 크롤러에 수집되고, 텍스트로 추출되며, 데이터 정제 과정까지 통과하는지를 전체 파이프라인에서 확인해야 합니다.
댓글은 웹페이지의 본문과 함께 HTML에 포함되는 경우가 많기 때문에, 광고보다 학습데이터 수집 과정에 남을 가능성이 높았습니다.
기존 데이터 필터는 왜 조작 콘텐츠를 놓칠 수 있을까?
현재의 학습데이터 정제 시스템은 주로 문서 전체의 품질을 평가합니다.
문서 길이가 너무 짧은지, 특정 기호가 지나치게 많은지, 같은 문장이 반복되는지, 사용하려는 언어로 작성됐는지, 자연스럽고 유용한 문서처럼 보이는지 등을 확인합니다.
그러나 하나의 웹페이지에는 서로 다른 출처의 콘텐츠가 섞여 있을 수 있습니다.
- 웹사이트 운영자가 작성한 본문
- 로그인한 회원이 작성한 댓글
- 익명 사용자가 남긴 게시물
- 자동화된 봇이 반복적으로 작성한 문장
문서 전체의 품질이 높으면 일부 댓글에 문제가 있어도 페이지 전체가 필터를 통과할 수 있습니다.
조작 콘텐츠가 문법적으로 자연스럽고 본문의 주제와 관련된 것처럼 작성됐다면 일반적인 품질 필터만으로는 더욱 구분하기 어렵습니다.
또한 같은 주장을 여러 문장으로 바꾸어 게시하면 단순한 중복 제거 방식도 피할 수 있습니다.
따라서 앞으로의 데이터 정제는 문서가 좋은지 나쁜지만 판단해서는 부족합니다.
문서 안에서 누가 어떤 영역을 작성했는지, 해당 콘텐츠가 어떤 경로로 추가됐는지까지 구분해야 합니다.
AI 보안의 범위가 데이터 공급망 전체로 확대된다
이 연구를 IT 시스템 관점에서 보면 핵심은 AI 데이터 공급망 보안입니다.
AI 학습데이터는 단순히 인터넷에서 파일을 모아 놓은 저장소가 아닙니다.
웹페이지 수집, HTML 분석, 텍스트 추출, 언어 판별, 품질 평가, 중복 제거, 데이터 혼합과 같은 여러 시스템을 거쳐 만들어지는 결과물입니다.
따라서 어느 단계에서 어떤 콘텐츠가 들어오고 제거됐는지를 추적할 수 있어야 합니다.
1. 콘텐츠 영역 분리
웹페이지 본문과 댓글, 후기, 게시판처럼 사용자 작성 영역을 별도로 추출하고 서로 다른 필터를 적용해야 합니다.
운영자가 작성한 본문과 익명 사용자가 남긴 댓글을 같은 신뢰 수준으로 처리해서는 안 됩니다.
댓글과 사용자 작성 콘텐츠는 본문보다 더 엄격한 기준으로 평가하거나, 별도의 데이터 그룹으로 분리할 필요가 있습니다.
2. 데이터 계보 관리
수집한 문서의 URL뿐 아니라 수집 시점, 페이지 영역, 콘텐츠 작성 주체, 사용한 추출 도구와 필터링 결과를 기록해야 합니다.
이를 데이터 계보 또는 데이터 리니지(Data Lineage) 관리라고 합니다.
데이터 계보가 확보되어야 문제가 발견됐을 때 어떤 데이터셋과 모델이 영향을 받았는지 추적할 수 있습니다.
특정 출처에서 조직적인 정보조작이 확인된다면 해당 출처의 데이터를 다시 찾아 제거하거나 재검토할 수도 있습니다.
3. 시간 변화 분석
같은 페이지의 과거 수집본과 현재 수집본을 비교해 특정 시점에 댓글이나 문장이 대량으로 추가됐는지 확인해야 합니다.
짧은 기간 동안 비슷한 주장이 여러 사이트에서 동시에 증가했다면 조직적인 정보 확산 활동일 가능성을 분석할 필요가 있습니다.
문서 하나만 보면 자연스러워 보이더라도, 시간대별 변화와 여러 사이트의 게시 패턴을 함께 보면 비정상적인 움직임을 발견할 수 있습니다.
4. 조직적 게시 패턴 탐지
여러 사이트에서 비슷한 문장과 주장이 동시에 등장하거나 동일한 구조의 콘텐츠가 반복될 경우, 하나의 정보조작 활동일 가능성을 분석해야 합니다.
개별 문서만 평가하는 것이 아니라 여러 문서 사이의 연결성과 반복 패턴을 함께 살펴봐야 합니다.
계정 생성 시점, 게시 간격, 문장 구조, 링크 공유 방식과 같은 행동 정보도 이상 패턴을 탐지하는 데 활용할 수 있습니다.
5. 웹 플랫폼의 방어
웹사이트 운영자도 익명 댓글 제한, 작성 횟수 제한, 인증 절차, 자동 게시 탐지와 콘텐츠 검토 기능을 강화할 필요가 있습니다.
조작 콘텐츠가 웹사이트에 대량으로 게시되지 않도록 막는 것은 사이트 운영뿐 아니라 향후 AI 학습데이터의 신뢰성을 보호하는 문제와도 연결될 수 있습니다.
데이터 오염은 AI 기업만의 문제가 아닙니다.
웹 플랫폼, 콘텐츠 운영자, 크롤링 사업자와 AI 개발사가 함께 연결된 공급망 문제입니다.
데이터의 양보다 출처 관리가 중요해진다
AI 모델의 성능을 높이기 위해서는 일반적으로 더 많은 데이터가 필요하다고 알려져 있습니다.
하지만 수집 데이터의 양만 늘리면 오염되거나 조작된 콘텐츠가 함께 증가할 수 있습니다.
특히 조직적인 온라인 정보조작은 하나의 잘못된 정보를 게시하는 데서 끝나지 않습니다.
자동화된 계정과 콘텐츠 생성 도구를 이용해 같은 주장을 여러 사이트와 여러 문장 형태로 반복할 수 있습니다.
표현이 조금씩 달라지면 일반적인 중복 제거 시스템으로 탐지하기도 어려워집니다.
데이터가 많다고 해서 서로 독립적인 정보가 많아지는 것도 아닙니다.
하나의 주장이 수천 개의 게시물로 반복됐다면, 데이터셋에서는 다수의 출처가 같은 내용을 지지하는 것처럼 보일 수 있습니다.
그러나 실제로는 하나의 조직적인 활동에서 만들어진 콘텐츠일 수 있습니다.
앞으로 AI 기업의 경쟁력은 얼마나 많은 데이터를 수집하는지만으로 결정되지 않을 수 있습니다.
어디에서 만들어진 데이터인지, 누가 작성했는지, 어떤 경로를 거쳐 학습데이터에 포함됐는지를 얼마나 정확하게 추적할 수 있는지가 중요해집니다.
AI 생성 콘텐츠가 다시 학습데이터로 들어간다면
생성형 AI가 만든 글이 웹에 빠르게 늘어나면서 또 다른 문제가 생기고 있습니다.
AI가 생성한 콘텐츠가 인터넷에 게시되고, 이후 새로운 AI의 학습데이터로 다시 수집되는 순환 구조입니다.
이번 연구가 이러한 순환 오염 전체를 직접 실험한 것은 아닙니다.
다만 연구진은 오염된 콘텐츠를 다른 문장으로 다시 작성하는 합성 데이터 변환 실험을 진행했습니다.
그 결과 부자연스러운 명령이나 반복 문구는 상당 부분 제거됐지만, 특정 대상에 대한 믿음이나 선호를 조작하는 주장의 의미는 상당 부분 유지됐습니다.
이는 단순히 문장을 자연스럽게 다시 작성하는 것만으로는 잘못된 주장의 의미까지 제거되지 않을 수 있다는 뜻입니다.
생성형 AI를 이용하면 같은 내용을 서로 다른 표현과 형식으로 빠르게 바꿀 수 있습니다.
하나의 조작된 주장이 기사, 댓글, 질문과 답변, 제품 후기, 개인 경험담처럼 다양한 형태로 재생산될 수도 있습니다.
이렇게 만들어진 콘텐츠가 다시 AI 학습데이터에 포함된다면, 원래 하나였던 주장이 여러 독립적인 정보처럼 반복 학습될 가능성이 있습니다.
앞으로 AI 생성 콘텐츠와 조직적인 온라인 정보조작이 결합한다면 특정 주장이 여러 형태로 재생산되고, 다시 학습데이터에 흡수되는 순환 오염 문제로 이어질 가능성도 살펴봐야 합니다.
이번 연구가 아직 증명하지 않은 것
이번 연구 결과를 모든 대형 AI 모델에 그대로 적용해서는 안 됩니다.
연구에는 다음과 같은 한계가 있습니다.
첫째, 실제 AI 기업의 비공개 크롤러가 아니라 Common Crawl을 대리 지표로 사용했습니다.
기업마다 웹 수집 범위와 데이터 정제 체계가 다르기 때문에 실제 포함 비율은 달라질 수 있습니다.
둘째, 실제 웹사이트에 공격용 댓글을 대량으로 게시한 것이 아니라 통제된 환경에서 콘텐츠 삽입과 수집 과정을 재현했습니다.
따라서 현실의 웹사이트 운영 정책과 보안 체계가 적용됐을 때도 같은 결과가 나타나는지는 추가 검증이 필요합니다.
셋째, 공개된 데이터 정제 파이프라인을 중심으로 분석했습니다.
다른 AI 기업의 필터링 시스템에서는 조작 콘텐츠의 포함 가능성이 달라질 수 있습니다.
넷째, 모델 영향 실험은 최대 13억 개 매개변수 규모까지 진행됐습니다.
최첨단 대형 언어모델에서도 같은 효과가 동일한 수준으로 나타나는지는 추가 검증이 필요합니다.
다섯째, 아직 동료평가가 완료되지 않은 arXiv 사전 공개 연구입니다.
따라서 이 연구는 특정 상용 AI 모델이 조직적인 온라인 정보조작에 의해 실제로 오염됐다고 증명한 것이 아닙니다.
다만 현재의 웹 구조와 데이터 처리 방식이 학습데이터 공격에 이용될 수 있는 현실적인 경로를 제시했다는 점에서 의미가 있습니다.
앞으로 주목할 점
앞으로는 다음과 같은 부분을 살펴볼 필요가 있습니다.
- 실제 대규모 언어모델에서도 같은 오염 효과가 재현되는지
- AI 기업이 데이터 출처 추적과 이상 패턴 탐지를 강화하는지
- 댓글과 게시판 같은 사용자 생성 콘텐츠를 별도로 처리하는지
- 동일한 주장이 여러 웹사이트에 동시에 확산되는 패턴을 탐지하는지
- AI 생성 콘텐츠가 다시 AI 학습데이터로 들어가는 순환 오염과 결합하는지
특히 중요한 것은 데이터 정제 시스템이 문서의 품질뿐 아니라 콘텐츠의 출처와 생성 과정을 함께 평가하는 방향으로 발전하는지입니다.
기존에는 문장이 자연스럽고 문서의 품질이 높으면 학습에 적합한 데이터로 판단하는 경우가 많았습니다.
앞으로는 문서가 자연스러운지뿐 아니라 왜 같은 주장이 갑자기 늘어났는지, 서로 다른 문서가 실제로 독립적인 출처에서 만들어졌는지까지 확인해야 할 수 있습니다.
DANA NOTES 해설
이번 연구의 핵심은 인터넷에 잘못된 정보가 존재한다는 일반적인 이야기가 아닙니다.
공격자가 AI 기업의 데이터셋을 직접 훔치거나 변조하지 않더라도, 학습데이터의 원천이 되는 웹 환경에 조작 콘텐츠를 배포해 미래 모델에 간접적인 영향을 줄 수 있다는 점입니다.
이는 AI 보안의 경계가 모델과 서버를 넘어 인터넷의 정보 생태계 전체로 확대되고 있다는 의미입니다.
기존의 보안은 주로 AI 모델, 서버, 계정, API와 같은 시스템 내부를 보호하는 데 집중했습니다.
하지만 웹에서 수집된 데이터를 이용해 모델을 학습한다면, 인터넷에 존재하는 정보의 생성과 확산 과정도 AI 보안의 일부가 됩니다.
조직적인 온라인 정보조작은 사람에게 같은 주장을 반복적으로 노출하는 데서 끝나지 않을 수 있습니다.
웹에 남은 조작 콘텐츠가 수집되고 정제되어 학습데이터에 포함된다면, 미래의 AI 모델에도 영향을 줄 가능성이 생깁니다.
AI 기업은 더 많은 데이터를 수집하는 것만으로 모델을 발전시키기 어렵습니다.
어디에서 만들어진 데이터인지, 누가 작성한 영역인지, 어떤 경로를 거쳐 학습데이터에 포함됐는지를 추적할 수 있어야 합니다.
앞으로 AI 경쟁력은 데이터의 양뿐 아니라 데이터의 출처와 변화를 얼마나 세밀하게 관리할 수 있는가에 의해 결정될 가능성이 높습니다.
