고려거란전쟁에 등장한 수십만 대군, 배우를 어떻게 섭외했을까? [특집+]

[특집다큐 '자신있나? 속지않을? 딥페이크!' 중에서]

생생한 역사 고증과 박진감 넘치는 전투 장면으로 시청자를 사로 잡은 KBS 정통 사극 <고려거란전쟁>

수십만 명의 고려와 거란 군사들이 맞붙는 압도적 규모의 전투 장면은 그중에서도 압권으로 꼽힙니다.

그런데, 사실 이 장면들을 실제 연기한 배우는 수십여 명에 불과했습니다.

혼합 현실 스튜디오에서 촬영한 배우들의 연기에 딥페이크 기술을 적용해 얼굴이 다른 ‘디지털 군중’을 만들어 낸 겁니다.

<녹취>김한솔/ '고려거란전쟁' 연출
한두 명씩 막 붙어요. 막 붙어서 이 검차 뒤에 쫙 완성이 돼요.

최근 이처럼 영상 업계에선 딥페이크 기술이 적극 활용되고 있습니다.

디즈니 플러스의 <카지노>에선 배우 최민식의 젊은 시절을 딥페이크로 구현해냈는가 하면,

넷플릭스 드라마 <살인자O난감>에선 극중 손석구 배우의 어린 시절을 딥페이크 기술로 재현해냈습니다.

<인터뷰> 정수환/ 숭실대 AI보안연구센터 센터장
과거에는 굉장히 어색했던 약간 동영상이나 이런 것들이 거의 뭐 실제랑 완전히 내츄럴하게 바뀌었고 동영상까지도 막 제작이 음성으로 되기도 하고 이런 상황까지 오다 보니까 사실 이 생성형 AI 기술이라는 것의 발전이 무서울 정도로 빠릅니다. 최근에도 디퓨전 모델이라는 게 나오면서 굉장히 자연스러운 모델들이 많이 나오고 있거든요. 그러다보니까 딥페이크가 일반 사람들이 봐서 구별하지 못하는 단계까지 온 거죠.

아르떼 미술관의 ‘비치’라는 작품입니다.

<인터뷰> 김준환/ 디스트릭트 부사장
스탠리 비치라는 건데 그게 몰디브에 실제로 산호 같은 것들이 빛을 발해서 약간 파란색 빛이 나는 그런 바다가 있다고 해요. 그래서 거기에서 영감을 얻어 가지고, 실감 콘텐츠 기술이라는 거는 현실 세계를 최대한 재현하는 그런 표현력 그리고 몰입감을 제공하는

농구장 4개 크기의 초대형 전광판을 수조로 만들어 도심에 파도가 치게 만들고, 뉴욕 타임스퀘어 한복판 100미터 높이의 빌딩에서 폭포가 떨어지는 모습을 보여준 디지털 아트 회사.

<인터뷰> 김준환/ 디스트릭트 부사장
콘텐츠를 만들 때 추구하는 목표는 자연을 소재로 저희 시각으로 다시 해석을 하고. 그 자연을 다시 뛰어넘는 그런 콘텐츠를 만드는 것을 항상 추구를 하거든요.

작품 제작 초기 단계, 아이디어를 모아가는 회의가 한창입니다.

문장으로 수정할 부분을 바꿔 넣자, 바로 결과물이 도출됩니다.

최고 수준의 작업자들이 모인 디지털 아트 회사지만, 작업 과정에 AI를 도입해 과정의 효율화를 꾀하고 있습니다.

<인터뷰> 지희정/ 디스트릭트 믹스 본부장
AI가 나오면서 비주얼을 저희가 원하는 방향으로 주제어를 입력하면서 작업을 하다 보니까, 원하는 비주얼을 계속 발전시켜가면서 하나의 그 목표 지점을 향해서 모두가 다 같은 비주얼을 보면서 영상 분야에서 확대되고 있는 AI의 영향력은 이제 외면할 수 없는 흐름이 되고 있습니다.

<int> 김준환/ 디스트릭트 부사장
소라 AI를 본 저희의 감상을 말씀드리면 충격과 공포를 느꼈었거든요. 너무 현실과 똑같았고 너무 퀄리티가 높았고 인간이 만들면 하루에 한두 개 정도 시안을 만들 수 있다라고 하면 인공지능을 활용을 하면 수십 개 수백 개도 생성을 할 수가 있기 때문에 저희는 인공지능 모델을 저희 디스트릭트가 지금까지 만들었던 작업들을 학습시켜서 그거를 파인튜닝한다라고 얘기를 하거든요. 그래서 디스트릭트 스타일로 파인튜닝 된 AI 모델을 개발하는 프로젝트도 지금 진행하고 있습니다.

AI소라 등 문장만 입력하면, 영상을 만들어주는 AI 기술은 곧 상용화 될 것으로 예상됩니다.

그리고 그 확장성은 가늠이 안될 정돕니다.

정글 속 폭포를 치자 바로 영상을 만듭니다.

70년 대 탐정을 AI는 이렇게 표현해 냈습니다.

<인터뷰> 제이미 엄퍼슨/ 런어웨이 크리에이티브 대표
1년 전에는 4초 길이의 영상을 만들 수 있었습니다. 이제 한 번에 최대 16초까지 생성할 수 있습니다. 새로운 기술이 등장하고 이용 가능해졌을 때 우리 모두가 할 수 있는 가장 좋은 일은 이를 실험해 보는 것이라고 생각합니다. 그것이 우리에게 어떤 영향을 미치는지 이해해 보는 거죠. 그것들이 우리가 어떤 일을 할 수 있게 해주는지요. 왜냐하면 실제로 도구를 사용해보기 전까지는 잠재력뿐만 아니라 한계도 진정으로 이해할 수 없기 때문입니다.

이런 생성형 AI를 이용한 딥페이크 만들기는 더 이상 전문가들만의 영역이 아닙니다.

77만 번 이상 사람들이 본 동영상.

지난해 나온 가수 선미의 스트레인저 뮤직비디오입니다.

하지만 얼굴은 80년대 대표 디바 김완선입니다.

어렵게 인터뷰에 응한 제작자.

<인터뷰> 딥페이크 제작자
80년대, 90년대 인기 스타가 최근의 음악 트렌드에 얼굴을 바꿔치기해서 들어갔을 때 얼마만큼 자연스럽고 이분들의 과거의 모습도 현재 잘 어울리지 않을까?라는 생각으로 페이스 스왑을 했었는데요. 합성이라는 거 자체가 너무 재미있게 느껴지더라고요. 김수미 님 같은 경우는 젊었을 때 얼굴 이미지를 찾아서 최대한 젊게 이미지를 더 만든 다음에, 그 이미지를 가지고 이 에스파 영상에 입혔거든요. 그런데 아무래도 그냥 단순하게 그렇게 입히다 보면 부자연스러움이 생기고 그렇게 되는데 간단한 후보정 작업으로 마무리를 짓고 있습니다.
지금 여기에 나와 있는 그런 영상들의 일부분도 그냥 하나의 이미지의 영상을 스와핑 시켜가지고 만드는 영상들이거든요.
(기자: 사진 한 장으로 넣어도 그게 동영상화 된다는 거죠?)
네. 0930 이미지 한 장의 이미지를 가지고 영상, 어떤 영상이든 인물의 이목구비가 보여지면 페이스 스왑을 할 수 있는 그런 기술들이 요새 많이 활성화되는 것 같더라고요.

이렇게 감쪽같은 영상을 만드는데 채 1시간도 안 걸린다는 제작자.

온라인 상에 공개된 소프트웨어를 이용하면 일반인들도 누구나 손쉽게 만들 수 있다고 합니다.

<인터뷰> 딥페이크 제작자
그냥 단순히 원하는 사진만 끌어다가 내가 변환을 시킨다고 버튼 하나만 하시면 바로 이렇게 만들 수 있는 그런 환경이 조성된 것 같습니다.

지난해 11월부터 3개월 동안 올린 영상만 160여 개.
그런데 지금은 영상 올리는 걸 멈췄습니다.

얼굴 합성, 딥페이크임을 밝혔음에도 스치듯 보는 짧은 영상의 특성상, 실제라고 믿는 사람들이 생겨났던 겁니다.

<인터뷰> 딥페이크 제작자
우선은 분명히 제가 만들었을 때는 이건 가짜 영상이라고 했음에도 불구하고 이걸 진짜 영상으로 받아들이시는 댓글들이.
내가 그렇게 의도하지 않았음에도 남들이 이렇게 오해를 하므로 또 다른 문제가 발생될 수 있겠구나, 그런 부분이 되게 겁나더라고요.
특히나 이제 연령, 고연령대 분들은 보시고 오인을, 오해를 하시는 분들이 계시더라고요.

관련 방송: 2024년 4월 2일(화) 밤 10시 5분 KBS 1TV/ 유튜브

'시사기획 창' 홈페이지 https://news.kbs.co.kr/vod/program.do?bcd=0039&ref=pSiteMap
유튜브 https://www.youtube.com/channel/UCEb31RoX5RnfYENmnyokN8A
페이스북 https://www.facebook.com/changkbs
WAVVE '시사기획 창' 검색