신문물 프로젝트 ① - 영상고 출신 라떼의 30초 자기소개 영상 제작기
AI로 정말 많은 것을 할 수 있는 세상이 되었다. 그중에서도 미디어 분야는 가능성이 무궁무진하다. 누구나 크리에이터가 되는 요즘, 나도 AI 영상을 한번 만들어 보기로 했다.
AI로 나만의 작업물을 만드는, 이름하여 신문물(?) 프로젝트! 사실 Suno로 노래를 만들어 본 게 먼저지만, 글쓰기 편의상 이번 글을 1탄으로 잡겠다.
나는 평소에 신기한 꿈을 자주 꾼다. 다양한 AI 영상 릴스를 보며 내 꿈도 이런 식으로 영상화하면 재밌겠다는 생각이 들었고, 아예 관련 계정을 운영해 볼 생각으로 Higgsfield 월 결제까지 마쳤다.
하지만 이미지와는 또 다른 영상의 세계에서 헤매게 된 나… 아직 내가 정확히 어떤 영상을 만들고 싶은지도 모르는 상황에서, 두서없는 꿈을 영상으로 구체화하기란 쉽지 않았다. 그래서 꿈 영상은 일단 뒤로 미뤄두고, 조금 더 명확한 주제인 자기소개 영상을 만들어 보기로 했다. 레퍼런스는 증명사진 단 한 장!
처음부터 전체 스토리를 짜지 않고, 시작과 끝만 정한 뒤 그 사이를 하나씩 채워 나가는 방식으로 기획했다.
#1. 가짜 자기소개
증명사진 속 내가 엉터리 자기소개를 한다.
#2. 진짜 '나'의 등장
진짜 '나'가 사진을 찢고 튀어나와 제대로 된 자기소개를 시작한다.
.
.
.
#6. 숏폼을 즐기는 내 모습
'나'가 편안한 자세로 쇼파에 앉아 휴대폰으로 숏폼을 즐기며 웃는다.문제는 이 사이를 어떻게 채우느냐였다.
장면 세 개 정도면 짧은 시간 안에 캐릭터를 보여주기에 충분하다고 생각해 반려 GPT와 함께 아이디어를 발전시켰다. 이왕 AI로 만드는 거라면 임팩트도 줄 겸, 현실에서는 하기 힘든 일을 시키는 게 좋을 것 같았다.
그렇게 세 개의 장면이 추가됐다.
이렇게 총 여섯 개의 씬이 나왔다.
‘직접 찍는 것도 아닌데, AI에 프롬프트만 잘 입력하면 바로 나오겠지? ㅎㅎ’
라고 생각했었다. (나중에 대참사가 일어남)
하지만 막상 해 보니 프롬프트 하나 넣고 기다리면 끝나는 작업이 아니었다. 원하는 장면 하나를 만들기 위해 통제해야 할 변수가 예상보다 훨씬 많았다. 조금 과장하자면, 이미지 생성 때 겪던 문제들이 프레임 단위로 나타났다.
사진 한가운데를 찢고 나와야 하는데, 갑자기 허공에서 새 종이가 나온다.
슈퍼히어로처럼 날아올라 이곳저곳을 쏘아다니기는커녕, 너무나 편안한 표정과 자세로 노을진 하늘을 날고 있다.
원래라면 하나의 거대한 퍼즐 조각이 나와야 한다. 이 영상에서는 작은 퍼즐들이 여러 개로 똘똘 뭉쳐 있어 폐기 처리했다.
거대한 퍼즐은 얼추 구현됐지만, 잘린 퍼즐 조각을 들고 있거나 전혀 아귀가 맞지 않는 퍼즐을 끼워넣고 있다.
내 얼굴과 닮지도 않았을 뿐더러, 쓸데없이 시허연 가르마가 돋보이게 되었다. 이렇게까지 리얼리즘을 추구할 필요는 없는데…
보편적으로 흔히 쓰는 스마트폰이 아닌, 거대한 카메라를 보유한 휴대폰을 들고 있다. Seedance가 중국 모델이라 샤오미를 데려온 듯.
이외에도 갑자기 남자 목소리가 나오는 등 여러 이슈가 있었다. 조건을 수정하고 다시 생성하기를 반복하면서 크레딧도 기하급수적으로 소비됐다. 결국 추가 결제까지 완료. 짧은 영상에 몇만 원을 썼는지 모를 노릇이다. 말이 딸깍이지, 돈이 살살 녹았다.
몇 차례의 도전 끝에 여섯 개의 장면을 그럭저럭 원하는 형태로 뽑아내는 데 성공했다. 그러나 또 다른 문제가 있었다. AI가 만들어 준 건 어디까지나 각각의 클립일 뿐, 완성된 영상은 아니었다.
편집 과정에 대한 이야기를 하기 전에, 내가 영상 특성화고 출신이라는 사실을 미리 밝혀둔다. 연출부터 촬영, 편집까지 정식 장비와 프로그램을 이용해 나름 엘리트 코스를 밟았기 때문에 영상 제작 자체는 크게 어렵지 않았다. 그럼에도 몇 가지 난관은 존재했다.
편집 툴은 요즘 많이 쓰이는 CapCut을 선택했다. 직접 써 보는 건 처음이었지만, 쉽고 직관적인 UI 덕분에 금세 사용법을 익혔다.
고등학생 때만 하더라도 영상 제작에 주로 쓰이는 편집 프로그램은 Premiere Pro, After Effects, Final Cut Pro와 같은 전문 프로그램이 대부분이었다. 영상 편집 수업에서 After Effects를 돌려 먼 옛날 화면보호기 같은 도형 애니메이션을 만들었던 기억도 난다. 당시에도 모바일이나 간편 편집 툴이 있긴 했지만, 지금만큼 접근성이 높지는 않았다.
그런데 CapCut에는 영상 제작에 필요한 거의 모든 기능이 갖춰져 있고, 프로그램 안에서 바로 AI 영상까지 만들 수 있다. 실제로 주변 지인 중 한 명도 CapCut 유료 버전으로 AI 영상을 만들어 인스타그램에 릴스를 올리고 있다. 심지어 TikTok과 바로 연동도 된다!
전문적인 기술을 익혀야만 영상을 만들 수 있던 시절을 지나, 아이디어만 있다면 누구나 쉽게 만들고 곧바로 세상에 내놓을 수 있는 환경이 되었다. 졸업한 지 10년이 지난 이제야 정말 ‘대 크리에이터의 시대’가 왔다는 걸 실감했다.
본론으로 돌아와서 영상 얘기를 해 보자면, 내가 생성한 클립은 토큰의 한계상 각각 4~5초 정도였다. Seedance 2.0, 2.5는 프롬프트를 꽤 훌륭하게 구현했고 내레이션 대사까지 알아서 넣어주었다.
문제는 이 짧은 클립들을 하나의 영상으로 이어 붙이면서 시작됐다.
특히 메시지가 가장 중요한 #3~#5 장면의 대사가 클립 후반부에 몰려 있었다. 대사가 끝나면 잠깐의 여유를 둔 후 다음 장면으로 넘어가야 하는데, 마지막 말이 끝나자마자 클립까지 뚝 끊겨 버렸다. 그대로 이어 붙이니 끝맺을 틈도 없이 다음 씬으로 넘어가 전체적인 호흡이 어색했다.
영상이 1초라도 더 길었다면 좋았을 텐데… 오디오 위치를 앞으로 당기며 어떻게든 살려 보려고 했지만, BGM과 효과음, 음성이 하나로 붙어 있어서 원하는 부분만 따로 조정하기도 어려웠다.
결국 원본 음성을 과감하게 포기했다. 내레이션 형식이라 가능한 선택이었다. 영상을 음소거한 뒤 ElevenLabs의 텍스트-오디오 변환 기능을 이용해 기존 목소리와 가장 유사한 음성 모델을 고르고, 새로 만든 내레이션을 원하는 타이밍에 배치했다.
그런데 하나를 해결하니 또 다른 문제가 생겼다. 원본을 음소거하면서 필요한 효과음까지 몽땅 사라진 것이다. 아무 소리 없이 화면과 내레이션만 나오니 생각보다 훨씬 어색했다.
‘영상만 보고 알아서 효과음을 만들어 주는 AI는 없을까?’
AI 유레카! 각고의 탐색 끝에 MMAudio를 발견했다. 비디오를 기반으로 오디오를 생성할 수 있는 툴이었고, 이를 활용해 사라진 효과음을 다시 채웠다.
영상 하나를 만드는 데 거쳐 간 도구는 이렇게 늘어났다.
Higgsfield → CapCut → ElevenLabs → MMAudio
처음에는 하나의 AI로 뚝딱 완성할 수 있을 거라고 생각했다. 실제로 해 보니 영상 생성은 시작에 가까웠고, 그 뒤로도 편집하면서 생기는 문제를 하나씩 해결해야 했다.
서비스 기획자답게(?) 문제가 생길 때마다 해결 방법을 찾고, 필요한 도구를 하나씩 조합하는 과정이 오히려 더 길었다.
얼굴을 기반으로 만든 영상이라 아쉽지만 완성본 공개는 생략한다. 대신 제작 과정에서 탄생한 장면과 시행착오를 실컷 박제해 두었다 😭
영상 편집의 3요소는 영상, 음향, 자막이다. 그중에서도 소리와 타이밍이 영상의 퀄리티를 좌우한다고 해도 과언이 아니다. 고등학교에서 뮤직비디오를 촬영할 때도 음악의 템포에 맞춰 컷을 전환하거나, 특정 동작과 소리가 맞아떨어지는 순간을 만드는 데 많은 신경을 썼다.
이번에도 그런 디테일을 최대한 살리려고 했다. 익스트림 줌 아웃이 시작되는 순간 “찾아내고”라는 대사가 나오도록 맞추고, 퍼즐 조각이 딱 들어맞을 때는 “만들어냅니다”가 들리도록 내레이션과 화면의 액션을 프레임 단위로 조정했다. 아주 미세한 차이지만 타이밍이 맞아떨어지면 훨씬 자연스럽고 보는 맛이 생긴다.
따로 생성된 클립의 단절감을 줄이기 위해 장면에 따라 페이드 인/아웃과 여러 디졸브 효과도 활용했다. 서로 별개로 만들어진 장면들이 최대한 하나의 흐름처럼 보이도록 다듬었다.
아쉬움도 있다. #3~#5 장면에만 ElevenLabs의 음성을 사용했더니 앞뒤 장면과 목소리가 미묘하게 달라 전체적인 통일감이 조금 떨어진다. 그래도 오랜만에 직접 영상을 만들고 편집한 결과물치고는 꽤 만족스럽다.
그렇게 완성된 영상의 최종 길이는 31초.
고작 31초짜리 영상을 만드는 데 꼬박 하루가 걸렸다. 크레딧도 예상보다 훨씬 많이 사용해서 재정적 이슈..가 생겼다. 생성하고, 실패하고, 다시 만들고, 편집하고, 또 다른 도구를 찾아 다니는 과정의 연속이었다. 그래도 만드는 내내 너무 재미있었다. 오랜만에 영상을 붙잡고 만지작거리다 보니 처음 영상을 배우던 때가 생각났다.
돌이켜 보면 영상 특성화고에 진학한 이유도, 서비스 기획으로 직무를 전환한 이유도 비슷했다. 나는 예나 지금이나 머릿속에 있는 생각을 밖으로 꺼내 실제로 구현하는 과정을 좋아한다. 어렸을 땐 그 도구가 영상이었다면, 지금은 IT 서비스로 바뀐 것뿐이다.
그 많은 포지션 중에서도 내가 맡았던 건 연출이었다. 시나리오를 쓰고 콘티를 그리며 뮤직비디오와 단편영화 몇 편을 연출했다. 극작과와 영화과 입시까지 준비했을 정도로 이야기와 연출에 관심이 많았다. 그러니 이 작업이 재미있을 수밖에 없다. 한동안 잊고 지냈던 순수한 창작의 즐거움을 오랜만에 다시 느낄 수 있었으니까. 이전에 만들었던 꿈속의 가상 밴드와 달리, 이번에는 내 얼굴이 화면 속을 돌아다니니 훨씬 몰입도 잘 되고 재미있었다. 하늘을 날고, 빌딩에 매달리고, 거대한 퍼즐을 맞추는 내 모습이 웃기면서 귀엽기도 했다.
특히 AI는 상상과 현실 사이의 거리를 크게 좁혀 주었다. 예전이었다면 이런 장면은 촬영 여건부터 장비, 인력, CG까지 수많은 현실적인 조건을 고려해야 했을 것이다. 그런데 이제는 증명사진 단 한 장으로 말도 안 되는 아이디어까지 시도해 볼 수 있다. 처음에 내가 꾼 꿈을 영상으로 옮기고 싶었던 이유이기도 하다. 나처럼 별별 생각을 많이 하는 사람에게는 꽤 좋은 변화다.
다만 조금 무서운 지점도 있었다. 레퍼런스로 제공한 건 평소 얼굴과 썩 닮지도 않은 증명사진 한 장이었다. 그런데 AI가 만들어 낸 옆모습이나 아래에서 바라본 얼굴까지 실제 나와 상당히 비슷했다. 주변 사람들도 나처럼 보인다고 인정할 정도였다.
목소리는 더 놀라웠다. 생성된 음성이 실제 목소리와 비슷해서 나의 최측근마저 내 음성을 따로 학습시켜 넣은 게 아니냐고 물어봤다. 제공하지 않은 각도의 얼굴과 녹음하지 않은 목소리까지 그럴듯하게 만들어지는 걸 보니 자연스럽게 딥페이크를 떠올릴 수밖에 없었다. 기술이 악용될 경우 얼마나 위험할지 전보다 훨씬 현실적으로 와닿았다. 신기하면서도 묘하게 무서웠다.
한편으로는 콘텐츠를 만드는 사람과 보는 사람의 경계가 점점 흐려지고 있음을 느낀다. CapCut처럼 접근하기 쉬운 툴과 AI가 만나면서 아이디어를 결과물로 옮기고 세상에 내놓기까지의 장벽이 크게 낮아졌다. 평소 콘텐츠를 즐기던 소비자가 어느 순간 생산자가 되는 일이 더 자연스러워지고 있다.
동시에 서비스 기획자의 관점에서도 새로운 질문이 생긴다. 콘텐츠 생산자와 소비자의 거리가 이렇게 가까워진 요즘, 이들을 위한 서비스에는 어떤 기회가 있을까? AI가 결과물을 생성해 주는 것에서 더 나아가, 사람들의 아이디어를 구체화하고 제작을 돕는 서비스는 또 어떤 모습일까?
새 AI 툴의 사용법을 익힌 것만이 이번 작업의 수확은 아니다. 10년 전 배웠던 연출과 영상 감각이 전혀 다른 제작 환경에서도 여전히 쓸모 있다는 걸 확인했고, 새로운 기술과 기존의 경험을 결합하면 내가 할 수 있는 일도 훨씬 많아진다는 걸 알게 되었다. 그러니 옛날에 배운 감각은 써먹고, 새로 등장한 도구는 부지런히 익힐 수밖에. 기왕 다시 재미를 느낀 김에, 이번에는 이 신문물(?)을 좀 더 내 것으로 만들어 보고 싶다!