이 글에서 다루는 내용
최근에는 문장만 입력하면 실제 촬영한 것처럼 자연스러운 영상을 만들어 주는 AI 서비스를 쉽게 볼 수 있습니다.
예를 들어 “노을이 지는 해변을 강아지가 달리는 영상”이나 “우주를 떠다니는 고양이”처럼 간단한 문장만 입력해도 AI가 몇 초 길이의 영상을 생성해 줍니다.
영상은 여러 장의 이미지(프레임)가 매우 빠르게 이어지면서 움직이는 것처럼 보이는 원리를 이용합니다.
어릴 때 공책 귀퉁이에 그림을 조금씩 다르게 그려 놓고 종이를 빠르게 넘기면 그림이 움직이는 것처럼 보였던 경험이 있을 것입니다. 또한 예전에는 찰흙 인형을 조금씩 움직인 뒤 사진을 한 장씩 촬영하고, 그 사진들을 빠르게 이어 붙여 영상을 만드는 스톱모션 애니메이션도 많이 제작되었습니다.
이번 글에서는 영상 AI가 어떤 데이터를 학습하고, 어떤 과정을 거쳐 영상을 생성하는지 알아보겠습니다.
1. 영상 AI는 어떻게 학습할까?
영상 AI는 영화, 드라마, 다큐멘터리, 스포츠 경기, 자연 풍경 등 다양한 영상 데이터를 학습합니다.
기본적으로는 사람, 동물, 자동차, 건물과 같은 객체의 형태와 특징을 학습하고, 배경, 색감, 질감, 조명 등 이미지에 담긴 다양한 시각적 특징도 함께 익힙니다.
하지만 영상 AI에는 한 가지 중요한 학습이 더 있습니다.
바로 시간의 흐름에 따라 장면이 어떻게 변화하는지까지 함께 학습한다는 것입니다.
예를 들어 사람이 걷는 모습을 학습한다고 생각해 보겠습니다.
영상 AI는 사람이 걸을 때 다리가 어떤 순서로 움직이는지, 팔은 어떻게 흔들리는지, 걸을 때 옷에는 어떤 주름이 생기는지, 바람이 불면 옷과 머리카락이 어떻게 움직이는지처럼 시간에 따라 계속 변하는 모습까지 함께 학습합니다.
즉, 영상 AI는 사물의 형태와 특징뿐 아니라 시간에 따른 움직임과 변화까지 함께 학습하는 AI라고 이해하면 됩니다.
2. 영상 AI는 어떻게 영상을 만들까?
예를 들어 “여름에 해변을 걷는 사람의 영상을 만들어 줘.”라는 프롬프트를 입력했다고 가정해 보겠습니다.
영상 AI는 일반적으로 다음과 같은 과정을 거쳐 영상을 생성합니다.
① 프롬프트를 이해한다.
- 텍스트 이해 모델이 사용자의 요청을 분석하여 등장인물, 배경, 분위기, 동작 등을 이해합니다.
② 첫 번째 프레임을 생성한다.
- 이미지 생성 모델이 첫 번째 장면을 생성합니다.
③ 다음 프레임을 예측한다.
- 시간의 흐름과 움직임을 예측하는 모델이 사람의 걸음걸이, 몸의 방향, 옷의 움직임, 바닷바람의 방향과 강도 등을 계산합니다.
④ 프레임을 계속 생성한다.
- ②와 ③ 과정을 반복하면서 사람이 자연스럽게 걸어가고, 바닷바람에 옷이 흔들리며, 머리카락이 움직이고, 주변 파도도 자연스럽게 변화하는 프레임을 계속 생성합니다.
⑤ 하나의 영상으로 완성한다.
- 생성된 프레임을 시간 순서대로 연결하여 하나의 영상으로 출력합니다.
영상 AI의 핵심적인 기술적 차별점은 ‘예측’입니다.
이미지 생성 AI가 하나의 장면을 만드는 역할을 한다면, 영상 AI는 시간의 흐름에 따라 다음 장면이 어떻게 변화해야 하는지를 계속 예측하면서 영상을 생성합니다. 이러한 전체 생성 과정을 일반적으로 영상 AI라고 합니다.
3. 영상 AI는 왜 더 어려울까?
이미지 AI는 한 장의 이미지만 자연스럽게 생성하면 됩니다.
반면 영상 AI는 모든 프레임이 시간의 흐름에 맞게 이어져야 합니다.
영상 AI는 다음과 같은 요소를 동시에 고려해야 합니다.
- 등장인물의 얼굴과 옷이 계속 동일해야 합니다.
- 앞뒤 장면이 자연스럽게 이어져야 합니다.
- 사람이나 사물의 움직임이 자연스러워야 합니다.
- 조명과 그림자의 변화가 일관되어야 합니다.
- 배경과 카메라의 움직임도 자연스럽게 이어져야 합니다.
즉, 한 장의 이미지를 생성하는 것보다 훨씬 많은 정보를 동시에 계산해야 하므로 연산량도 크게 증가합니다.
DANA NOTES 해설
영상 AI가 어려운 이유는 단순히 많은 프레임을 생성해야 하기 때문이 아닙니다.
더 중요한 것은 모든 프레임의 일관성을 유지해야 한다는 점입니다.
예를 들어 사람이 걷는 영상을 생성한다면 얼굴과 옷이 갑자기 바뀌어서는 안 되고, 걸음걸이도 계속 자연스럽게 이어져야 합니다. 또한 조명과 그림자, 배경, 카메라의 움직임까지 시간의 흐름에 맞게 일관성을 유지해야 합니다.
그래서 영상 AI는 다음 장면을 계속 예측하면서 앞뒤 프레임이 자연스럽게 연결되도록 영상을 생성합니다.
즉, 영상 AI의 핵심은 단순히 많은 프레임을 만드는 것이 아니라, 모든 프레임이 하나의 영상처럼 자연스럽게 이어질 수 있도록 일관성을 유지하는 것입니다.
DANA NOTES 한 줄 정리
영상 AI는 사람이 영상을 시청할 때 움직임이 자연스럽게 느껴지도록, 시간의 흐름에 따라 장면의 변화를 예측하고 프레임의 일관성을 유지하는 기술입니다.
