📖 읽기 전에 보면 좋은 글
#03 AI는 어떻게 답을 찾을까?
AI가 생각하는 것이 아니라 계산으로 답을 만드는 원리를 먼저 이해하면, 이번 글를 더 쉽게 이해할 수 있습니다.
ChatGPT를 사용하다 보면 가끔 이상한 경험을 하게 됩니다.
분명히 틀린 내용인데도 마치 사실인 것처럼 자연스럽게 설명하는 경우가 있습니다.
존재하지 않는 논문을 소개하기도 하고, 실제로 없는 책을 추천하기도 합니다. 심지어 그럴듯한 출처와 날짜까지 함께 제시하는 경우도 있습니다.
사람이라면 모르는 질문을 받았을 때 “잘 모르겠습니다.”라고 말할 수 있습니다.
그런데 AI는 왜 틀린 내용을 이렇게 자신 있게 말하는 것처럼 보일까요?
AI는 정답을 찾는 프로그램이 아닙니다.
많은 사람들이 AI는 인터넷에서 정보를 검색한 뒤 정답을 알려준다고 생각합니다.
하지만 대부분의 생성형 AI는 질문을 받을 때마다 인터넷에서 정답을 찾아 답하는 방식으로 동작하지 않습니다.
대신 지금까지 학습한 내용을 바탕으로, 앞의 문장과 가장 자연스럽게 이어질 다음 단어를 계속 계산하며 문장을 만들어 갑니다.
즉, AI의 목표는 정답을 찾는 것이 아니라 가장 자연스러운 문장을 만드는 것입니다.
그래서 틀린 내용도 만들어질 수 있습니다.
예를 들어 논문을 추천해 달라고 요청했다고 가정해 보겠습니다.
AI는 실제 논문을 검색해서 보여주는 것이 아니라, 지금까지 학습한 내용을 바탕으로 가장 자연스러운 문장을 만들어 갑니다.
논문 제목도 있을 법하고, 저자 이름도 자연스럽고, 학회 이름도 그럴듯할 수 있습니다.
하지만 그 내용은 실제로 존재하지 않는 정보일 수도 있습니다.
AI는 생성한 결과가 맞는지 틀린지를 확인하는 것이 아닙니다.
앞의 문장과 가장 자연스럽게 이어질 다음 단어를 계속 계산하며 문장을 만들어 갈 뿐입니다.
그래서 사람이 보기에는 사실과 다른 내용이 이어지고 있더라도, AI는 가장 적절하다고 계산한 다음 단어를 계속 이어 붙이고 있는 것입니다.
이처럼 사실이 아닌 내용을 사실처럼 만들어 내는 현상을 환각(Hallucination)이라고 합니다.
AI가 거짓말을 하는 것은 아닙니다.
환각이라는 말을 들으면 AI가 일부러 거짓말을 하는 것처럼 느껴질 수도 있습니다.
하지만 실제로는 그렇지 않습니다.
AI는 사람처럼 상대를 속이려는 의도를 가지고 있지 않습니다.
환각은 AI가 고장 나서 발생하는 오류라기보다, 생성형 AI가 문장을 만들어 가는 방식에서 자연스럽게 나타날 수 있는 현상입니다.
실제로 이런 일도 있었습니다.
2023년 미국에서는 한 변호사가 ChatGPT가 알려 준 판례를 법원에 제출했다가 제재를 받은 사건이 있었습니다.
문제는 그 판례들이 실제로 존재하지 않았다는 것입니다.
AI는 사건 번호와 판결 내용까지 매우 자연스럽게 만들어 냈고, 변호사는 이를 확인하지 않은 채 법원에 제출했습니다.
이 사건은 AI의 답변을 그대로 믿기보다, 중요한 정보는 반드시 다시 확인해야 한다는 사실을 많은 사람들에게 알려 주었습니다.
AI를 사용할 때 기억해야 할 점
AI는 글을 작성하거나 아이디어를 정리하고, 어려운 개념을 쉽게 설명하는 데 매우 뛰어난 도구입니다.
하지만 논문이나 통계, 법률, 의료 정보처럼 정확성이 중요한 내용은 반드시 다시 확인하는 습관이 필요합니다.
최근에는 검색 기능을 함께 사용하는 AI도 늘어나면서 이러한 문제가 많이 줄어들고 있지만, 아직 완전히 사라진 것은 아닙니다.
AI를 잘 활용하는 사람은 AI를 무조건 믿는 사람이 아니라, 언제 다시 확인해야 하는지를 아는 사람입니다.
DANA NOTES 한 줄 요약
AI는 정답을 확인하며 답하는 것이 아니라, 가장 자연스러운 문장을 계산하며 만들어 갑니다.
