[더 보다] 지브리 신드롬과 AI

벚꽃이 만개한 서울 여의도. 연인과 친구와 가족과 화사한 사진으로 추억을 남깁니다.

이렇게 찍은 사진들, ‘그림’으로 다시 태어나고 있습니다.

사람들을 애니메이션 속 주인공으로 바꾸는 데, 손동작 몇 번이면 충분합니다.

황예진/경기도 용인시 “그냥 친구들이랑 찍은 셀카 사진 위주로 해봤거든요. 신기했어요. 왜냐하면 그 몇 초 사이에 바로 그림으로 그린다는 게 좀 말이 안 되잖아요” 천승준/경기도 고양시 “지브리만의 어떤 그런 고유의 느낌이라든지 아니면 색감이나 그림체가 완벽하게 똑같이 재연되는 것 같아서 그런 점이 좀 신기했던 것 같습니다”

미야자키 하야오/애니메이션 감독(스튜디오 지브리 명예회장)

세계적으로 사랑받는 일본의 지브리 애니메이션.

“미야자키 하야오 감독이 워낙 거장이시기도 하고요. 일본의 2D 애니메이션 시장에서는 가장 독보적인 위치를 차지하고 있는 분인데 지브리가 그 역할을 굉장히 많이 했죠”

AI가 이 거장의 스타일을 순식간에 흉내 내는 겁니다.

“작가 입장에서는 거부감이 들 수밖에 없거든요”

갖은 논란에도 확산 속도는 더 빨라지고 있습니다.

”지난번에 사용자가 5억 명이라고 말씀드렸는데 지금 빠르게 늘고 있습니다. “

호기심 속 단순한 유행일까? 아니면 우리에게 찾아온 기회일까?

챗GPT에게 인기 드라마의 한 장면을 지브리 스타일로 바꿔 달라고 요청했습니다. 1분여 만에, 인물과 구도까지 비슷한 그림이 완성됩니다. 디즈니 스타일도, 심슨 스타일로도 다 가능합니다. 마치 애니메이션 작가가 된 듯한 착각에 빠질 정돕니다. 어떻게 가능한 걸까요?

정진서/서울대 컴퓨터공학부 대학원생 "이런 부분을 저희가 후드를 입은 사진으로 바꾸고 싶다면 ‘후드’라는 명령어를 주고." (사진의 일부분만도 이렇게 생성이 가능한 거군요 원하는 대로). "네"

AI는 원본 이미지를 단계적으로 분석하며 그리는 과정을 배웁니다. 학습을 마치면, 새로운 이미지를 직접 그릴 수 있게 됩니다.

김건희/서울대 컴퓨터공학부 교수 “이제 최종 목적은 지브리 스타일의 이미지인데 여기서 지브리 스타일로 조금 바꾸고 조금 바꾸고 조금 바꾸고 그걸 아주 많이 반복하다 보면 최종적으로는 콘텐츠를 유지하면서 지브리 스타일의 이미지가 나온다고 보시면 좋을 것 같아요”

이전에도 비슷한 기술은 있었습니다. 다만, 챗GPT는 이 기술을 누구나 쉽게 쓸 수 있게 만들었습니다.

김건희/서울대 컴퓨터공학부 교수 “사실 그런 (기존) 앱을 일부러 찾아서 쓰기는 어렵잖아요. 그런데 이제 GPT라고 하는 일상적인 AI 도구에 그 기능이 얹어지니까 예전에 비해 훨씬 쉽게 활용할 수 있게 돼서 지금의 인기가 있는 것 같습니다”

2022년 챗GPT 첫 등장 이후, 구글의 제미나이, 마이크로소프트의 코파일럿 등 경쟁자들이 잇따라 성장하는 상황. 오픈AI도 챗GPT의 한 단계 도약을 선언합니다.

프라훌라 다리왈/오픈AI 멀티모달 담당 “이 모델은 언어뿐만 아니라 이미지, 오디오 등 모든 형태의 모달리티(정보)를 이해하고 생성할 수 있습니다”

인간의 언어는 물론 이미지와 비디오, 오디오 등 다양한 유형의 데이터를 이해하고 처리하는 AI로 진보했다는 겁니다.

기존에는, 언어 처리와 이미지 생성 기능이 분리돼 사용자의 의도를 파악하는 데 어려움을 겪었다면,

황현지 / AI 스타트업 대표 “한 번 보고 나서 ‘아, 이거 좀 마음에 안 들어, 이렇게 해줘’라고 편집을 시켰을 때 기존에는 그걸 되게 잘 못 알아들었었어요”

멀티모달에서는, 언어와 이미지 등 여러 데이터를 동시에 처리할 수 있도록 챗GPT에 이미지 생성 기능이 통합됐습니다.

프라훌라 다리왈/오픈AI 멀티모달 담당 “‘애니메이션 스타일로 만들어 달라’고 요청하겠습니다 보시다시피 텍스트뿐 아니라 이미지도 이해할 수 있습니다. 이 두 가지 정보를 모두 활용해 원하는 결과를 만들어 줍니다.”

그 결과물이 지브리 스타일을 유행시킨 지금의 챗GPT입니다.

AI의 발전 단계에서 멀티모달은 인간 수준에 근접한 ‘범용인공지능’, AGI로 가는 열쇠 역할을 할 거로 기대를 받고 있습니다.

최병호/고려대 AI연구원 교수 “가장 중요한 건 사람처럼 접근했다는 의미가 있어요. 왜냐하면 사람은 오감각을 통해서 세상을 바라본단 말이에요 지금까지의 (AI) 모델은 그렇지 않았어요. 한정적으로 인풋이 들어온 거죠. 그런데 최근에는 이미지도 학습하고 그다음에 영상도 학습하고 오디오도 학습하는 등 인간처럼 학습하는 형태가 점점 강화되고 있고 그 이해하는 폭만큼 생성도 가능해지고 있죠. 결국 이 길은 범용인공지능(AGI)으로 가는 길이죠”

올해 초 중국에서 공개된 AI 모델 ‘딥시크’. 상대적으로 짧은 시간에 완성도 높게 구현된 이 AI는 전 세계에 큰 충격을 던졌습니다.

김건희/서울대 컴퓨터공학부 교수 “미국의 아주 유수한 AI 인력을 데려다가 이렇게 만든 게 아니라 중국 내 로컬 인력만으로 그렇게 1년 반 만에 거의 (미국에) 필적하는 놀라운 성능을 보였다는 측면에서 시사하는 바가 좀 컸습니다”

하지만, 우리나라에선 과도한 개인정보 수집으로 다운로드가 금지됐다가 한국 정부의 시정 권고를 일부 수용한 끝에 두달여 만에 서비스를 재개했습니다.

최병호/고려대 AI연구원 교수 “(딥시크가) 키보드를 입력하는 패턴을 수집하는 건 굉장히 낯선 데이터거든요 보통 우리가 데이터를 수집하는 건 서비스의 품질을 높이기 위한 목적이에요 그런데 ‘키보드 입력하는 패턴은 품질과 무슨 관계가 있지’라는 질문이 당연히 나오는 거죠”

이미지 생성으로 큰 인기를 끌고 있는 챗GPT에는 문제가 없을까?

TED 진행자/ “제가 보기엔 지적재산권(IP) 도용처럼 보입니다. 피너츠 측과 아무런 협의도 없었던 건가요?" 샘 알트먼/ 오픈AI CEO “저는 인류가 지닌 창의적 정신이 무엇보다 중요하다고 믿고 그것을 발전시킬 수 있는 도구를 만들고 싶습니다.“

저작권법 전문가인 최승재 교수. 일반 이용자가 자신의 사진을 지브리 스타일로 바꾸는 것은 문제가 없다고 말합니다.

최승재/동국대 법학과 교수 ”왜냐하면 우리 저작권법은 기본적으로 아이디어하고 표현을 구별합니다. 그래서 아이디어는 보호의 대상이 아니라고 보고요 표현만 보호의 대상이라고 보게 되는데 생각해 보시면 ’스타일을 어떻게 할 건가‘ 사실 스타일은 전형적으로 아이디어의 영역입니다. (예를 들면 제가 한강 작가를 좋아해서 한강 작가의 문체로 글을 쓰는 거는 (저작권) 침해가 아닌 거군요) 그렇죠“

하지만, 이 저작권, AI 업체에 적용하면 얘기가 달라집니다. 허락 없이 원작을 학습했을 경우, 저작권 침해 소지가 있다는 겁니다.

최승재/동국대 법학과 교수 ”동의를 받고 이용 허락을 받고 아니면 어떤 승인을 받아서 했다 그러면 그건 당연히 이용 허락이 됐기 때문에 권리 처리가 됐다고 하거든요 만약에 권리 처리가 되지 않은 데이터를 썼다 그건 우리가 좀 봐야 하겠죠“

이와 관련해 일본 지브리 본사에 문의했더니, ‘특별한 대응 계획은 없다‘는 짧은 답을 보내왔습니다.

그런데 저작권 논란은 이미지 생성만의 문제가 아니었습니다. 챗GPT 제작사인 오픈AI는 2023년 뉴욕타임스로부터 저작권 침해 소송을 당했습니다.

KBS뉴스(2023.12.28.) “미국 뉴욕타임스가 언론사로는 처음으로 인공지능 기업들과 저작권 소송을 시작했습니다.”

뉴욕타임스는 오픈AI가 무단으로 자사의 기사를 이용해 AI 모델을 훈련하는 등 저작권을 침해했다고 주장합니다.

최승재/동국대 법학과 교수 ”우리는 5천 명 정도의 직원들이 밤낮으로 여러 전문가를 고용해서 심지어 전쟁 현장까지 가서 취재하고 그런데 그 기사를 만들기 위해서 한 그 노력을 데이터라는 이름으로 정리를 해서 그냥 써도 아무런 대가를 주지 않아도 된다. 그런 앞으로 우리는 어떻게 해야 하지 이게 뉴욕타임스의 질문입니다“

반면, 저작권자의 허가를 구하지 않고 제한적으로 이용할 수 있도록 한 ’공정 이용‘의 범주에 있다는 게 오픈AI의 입장입니다.

샘 알트먼/오픈AI CEO "우리는 뉴욕타임스의 콘텐츠를 표시하기 위해 많은 돈을 지불할 의향이 있었어요. 그런데 우리를 고소했다는 소식을 듣고 우리도 다른 사람들만큼이나 놀랐습니다. “

이를 의식한 것일까? 뉴욕타임스와 소송 중인 오픈AI는 워싱턴포스트 등 미국 내 20여 개 언론사를 포함해 전 세계 160여 매체와 콘텐츠 사용 계약을 맺었습니다.

이 같은 논란에도 화제의 중심에 선 챗GPT의 사용자는 빠르게 늘고 있습니다. 3월 말 기준, 5억 명을 넘었습니다. 지난해 말 3억 5천만 명에서 3개월 만에 40% 넘게 늘어난 겁니다.

사람을 닮아간다는 건, 사람을 대체할 수도 있다는 것. 논란도 여전하지만, AI 활용 영역은 확대되고 있습니다.

웹툰 종주국, 대한민국. 하지만, 웹툰 작가들의 노동 강도는 늘 문제로 지적됐습니다.

김정영/연성대 웹툰만화콘텐츠과 교수 “(1회) 분량은 한 80컷 내외 많게는 120컷까지 그리는 작가도 있지만 일반적으로 일주일 연재 방식으로 봤을 때는 한 70~80컷 정도를 권유하고 있는 상태라고 보시면 되고요”

웹툰 작가이자 대학에서 학생들을 가르치고 있는 봉준호 씨. 인간이 아닌 AI를 보조 작가로 활용하고 있습니다.

봉준호/연성대 웹툰만화콘텐츠과 교수 겸 웹툰작가 “보조 스토리 작가로 활용하고 있습니다. 예를 들어서 제가 아이디어가 떠올라서 막 적었어요. 그런데 맥락을 파악하기가 쉽지 않은 거예요. 이걸 컨트롤 C, 컨트롤 V 해서 딱 보여줘 놓고 ‘이거 요약해 줘, 그 맥락을 조금 정리해 줄래’ 이렇게 요청하면 너무 잘해주더라고요”

AI가 어느새 창작자의 손을 덜어주는 역할을 하고 있는 겁니다.

김정영/연성대 웹툰만화콘텐츠과 교수 “작가들 입장에서는 일주일 동안 스토리를 짜고 콘티를 짜고 선화하고 채색하고 그다음에 연출하고 이런 과정들이 시간이 굉장히 촉박한 편입니다. 그렇다고 했을 때, 마치 우리가 다양한 기술이 있으면 그 기술을 활용하듯이 기술적인 측면으로 접근한다면 작가들 입장에서는 거부할 이유가 그렇게 많지 않다고 생각하고요”

이미지 생성 기술로 수익을 내고 있는 국내 한 스타트업. 우리나라 민화 그림을 먼저 보여주고 비슷한 스타일로 새로운 이미지를 만들어달라고 해봤습니다.

이정민/AI 스타트업 이사 “생각해 보니까 파리를 전통 민화에서는 그린 게 별로 없겠네요. 지금 생각을 해보니까 ”

인공지능이 1분 만에 원하는 그림을 만들어줍니다. 이렇게 생성하는 이미지가 매달 20만 장이 넘습니다.

황현지 / AI 스타트업 대표 “(기존에는) 하나의 이미지를 만드는데 4~5시간 정도 들고 시간을 너무 많이 썼었는데 지금은 저희 서비스를 사용하면 정말 길어도 여러 번 해도 1~2분 안에 최종 만들어지다 보니까”

재미로 해본 지브리 스타일 이미지 변환. 그 안에선 AI가 인간과 공존하기 위해, 혹은 인간을 대체하기 위해 꾸준히 진화하고 있습니다.

김건희 / 서울대 컴퓨터공학부 교수 “인공지능의 영향을 받지 않는 분야나 생활은 거의 없다고 판단합니다. 그리고 모든 직업이 다 인공지능의 영향을 받을 겁니다”

미국 스탠퍼드대학이 최근 발표한 인공지능 보고서. 세계에서 주목할 만한 AI 모델 60여 개 중 한국에선 단 1개만 포함됐습니다. 또 한국의 AI 민간 투자는 13억 3천만 달러로, 1년 새 6천만 달러가 줄면서, 투자 규모 순위는 9위에서 11위로 떨어졌습니다.

LG ‘엑사원’, 네이버 ‘하이퍼클로바X’ 등 국내 기업도 경쟁적으로 AI 모델을 선보이고 있지만, 한국이 다른 AI 경쟁국에 비해 뒤처지고 있다는 평가가 나오는 이유입니다.

최병호/고려대 AI연구원 교수 ‘우리가 조금만 늦으면 우리한테 기회가 없어질 것 같다’ 이런 굉장히 불안한 감도 있는 거예요. 근데 그게 1~2년이 채 안 될 가능성이 높죠“

숨 가쁜 AI 전쟁, 우리에게도 기회는 있습니다. AI 반도체 설계를 전문으로 하는 한국 스타트업. 최근 미국 기업 메타가 1조 2천억 원에 인수를 제안했습니다. AI에 특화된 반도체 설계 능력을 인정받은 겁니다.

정부는 올해 AI 역량 강화를 위해 1조 8천억 원 규모의 추경 예산을 편성하고, 실질적인 지원을 약속했습니다. AI 3대 강국이 되기 위한 선택과 집중, 협력과 도전의 시간이 시작됐습니다.

김건희 교수/ “반도체 같은 경우에도 다양한 반도체가 있지만 특정 부분에 대해서는 우리나라가 아주 세계적인 경쟁력을 가지고 있고 그 부분에 대해서는 한국이 이제 제일 국가이지 않습니까? 계획적으로 선택과 집중하는 거에도 우리의 역량이나 자원을 투자해야 하고, 젊은 친구들의 새로운 아이디어나 야망 있는 아이디어, 프로젝트 그런 것들에 대해서 지원하는 것도, 둘 다 같이 가야 할 것 같습니다.”

#지브리 #오픈AI #챗GPT #디즈니 #심슨 #제미나이 #네이버 #구글 #인공지능 #저작권 #샘 알트먼 #공정 이용

취재:이승종
촬영:조선기 강우용 설태훈
편집:김기곤
그래픽:장수현
리서처:이승민
조연출: 심은별 이민철