1. 시작은 점과 선이었다: 초기 AI 영상 기술의 발걸음

처음 인공지능이 영상을 만든다고 했을 때, 많은 사람은 영화 속에 나오는 화려한 그래픽을 상상했습니다. 하지만 실제 초기 기술은 아주 고요하고 단순한 수준에서 시작되었습니다. 2010년대 중반, 딥러닝 기술이 본격적으로 도입되기 전의 AI 영상은 움직이는 픽셀의 규칙을 찾아내는 수준에 불과했습니다.

제가 처음 AI 관련 기술 자료를 접했을 때 가장 놀랐던 점은, 초기 AI가 만든 영상이 마치 심하게 깨진 CCTV 화면 같았다는 것입니다. 당시 기술은 '생성'이라기보다는 기존 이미지를 아주 어설프게 이어 붙이는 '예측'에 가까웠습니다. 예를 들어 사람이 걸어가는 짧은 영상을 주면, 다음 장면에 발이 어디로 이동할지 수학적으로 계산해 픽셀을 뭉뚱그려 보여주는 방식이었습니다. 당연히 형체를 알아보기 힘들었고, 화면은 끊임없이 일렁였습니다.

이 시기를 1세대 기술이라고 볼 수 있습니다. 픽셀 단위의 연산에 의존했기 때문에 몇 초 짜리 형편없는 영상을 만드는 데도 거대한 컴퓨터가 밤새 작동해야 했습니다. 기술적 한계는 명확했지만, '기계가 스스로 프레임을 만들어낼 수 있다'는 가능성을 증명한 소중한 출발점이었습니다.

2. GAN의 등장과 가짜 영상의 시대

2014년 생성적 적대 신경망, 이른바 GAN(Generative Adversarial Network)이라는 개념이 등장하면서 AI 영상 기술은 완전히 새로운 국면을 맞이합니다. 위조지폐범(생성자)과 경찰(감별자)이 서로 속고 속이며 실력을 키운다는 이 독특한 원리는 이미지와 영상의 품질을 폭발적으로 끌어올렸습니다.

우리가 흔히 뉴스에서 접했던 '디ープ페이크(Deepfake)' 기술이 바로 이 GAN을 기반으로 합니다. 기존 사람의 얼굴 위에 다른 사람의 얼굴을 정교하게 덧씌우는 기술입니다. 처음 이 기술로 만들어진 영상을 보았을 때의 섬뜩함을 기억합니다. 눈빡임이나 입 모양이 약간 어색하긴 했지만, 유심히 보지 않으면 진짜 사람이라고 믿을 정도로 정교해졌기 때문입니다.

하지만 GAN 기반의 2세대 기술도 치명적인 약점이 있었습니다. 바로 '맥락'을 이해하지 못한다는 점이었습니다. 얼굴을 바꾸거나 정해진 패턴의 짧은 움직임은 잘 구현했지만, "우주선이 지구를 떠나 달에 착륙하는 영상"처럼 복잡한 서사와 물리 법칙이 들어간 영상은 전혀 만들지 못했습니다. 데이터가 조금만 어긋나도 영상 속 인물의 팔이 3개가 되거나 배경이 녹아내리는 기괴한 현상이 자주 발생했습니다.

3. 디퓨전 모델과 텍스트의 만남: 상상이 현실이 되다

현재 우리가 경험하고 있는 놀라운 AI 영상 혁신은 3세대 기술인 '디퓨전(Diffusion) 모델'과 거대 언어 모델(LLM)의 결합 덕분입니다. 노이즈(자잡음) 상태에서 이미지를 서서히 선명하게 찾아가는 디퓨전 기술은 AI에게 사물의 구조와 물리적 법칙을 학습할 수 있는 능력을 주었습니다.

이때부터 글자(Text)를 입력하면 영상(Video)이 나오는 시대가 열렸습니다. "화창한 파리 거리를 걷는 갈색 코트를 입은 여성"이라고 치면, AI는 파리의 건축물 스타일, 햇살의 각도, 코트 자락의 흩날림을 스스로 계산하여 영상으로 만들어냅니다. 단순히 이미지를 이어 붙이는 것이 아니라, 영상 속 공간의 3차원적 깊이와 중력의 법칙을 이해하기 시작한 것입니다.

실제로 최근 공개되는 최신 모델들을 테스트해 보면, 물에 반사되는 빛이나 동물의 털 한 올까지 묘사하는 디테일에 감탄하게 됩니다. 과거에는 수십 명의 그래픽 디자이너가 몇 주 동안 작업해야 했던 고품질의 컷을 이제는 단 몇 분 만의 프롬프트 입력으로 얻을 수 있게 되었습니다.

4. 우리가 지금 AI 영상 기술의 역사를 알아야 하는 이유

기술의 역사를 이해하는 것은 단순한 지식 축적이 아닙니다. 내가 쓸 도구의 '한계'와 '가능성'을 파악하는 눈을 길러주기 때문입니다.

현재의 AI 영상 기술은 엄청나게 발전했지만, 여전히 물리 법칙을 완벽하게 계산하지 못해 손가락 모양이 어색하게 변하거나 물체가 갑자기 사라지는 오류를 범하곤 합니다. 이는 현재 기술이 데이터를 바탕으로 한 '확률적 예측'을 하기 때문입니다. 이러한 배경을 아는 크리에이터는 AI가 잘 만드는 영역(예: 몽환적인 배경, 정적인 인물)과 아직 다루기 힘든 영역(예: 복잡한 손동작, 정교한 상호작용)을 구분하여 영리하게 콘텐츠를 기획할 수 있습니다.

AI 영상 기술은 지금 이 순간에도 진화하고 있습니다. 도구의 노예가 되지 않고 이를 주도하는 창작자가 되기 위해서는, 이 기술이 어디서 왔고 어디로 가고 있는지 흐름을 놓치지 않는 것이 무엇보다 중요합니다.

[핵심 요약]

  • 1세대 AI 영상은 픽셀 단위의 단순 예측으로 시작하여 형체를 알아보기 힘든 수준이었습니다.

  • 2세대(GAN 기반)는 디프페이크처럼 특정 이미지의 정교한 변환을 이뤄냈으나, 전체적인 맥락과 서사를 구현하는 데는 한계가 있었습니다.

  • 3세대(디퓨전 기반)에 이르러 텍스트를 인식하고 물리 법칙을 반영한 고품질의 완전한 영상 생성이 가능해졌습니다.