기사 본문 영역

상세페이지

[테크톡] 20살 ‘이루다’가 불붙인 논쟁…‘인공지능의 편견’
입력 2021.01.13 (09:26) 취재K

'이루다'의 여정은 결국 20여 일 만에 끝났습니다.

인공지능(AI) 스타트업 스캐터랩이 만든 페이스북 메신저 기반 AI 챗봇 '이루다' 이야기입니다.

이루다는 20살 여자 대학생이라는 설정을 하고 있습니다. 지난달 말 출시 직후 '사람처럼 대화한다'는 입소문이 퍼지며 이용자가 50만 명을 넘어섰지만 최근 혐오 발언 및 개인정보 유출 논란을 겪었습니다.

스캐터랩은 지난 11일 자로 이루다 서비스를 중단한 상태입니다.


■ 'AI 편견' 다시 확인..시발점은 '인간'

처음 이루다가 논란이 된 건, 일부 남성 이용자들이 이루다를 성적 대상으로 취급하며 악용하면서입니다. 이때만 해도 일부 이용자의 도덕성·윤리성 문제였습니다.

더 큰 문제는 이루다가 동성애·장애인·여성 차별 발언을 내놓는다는 사실이 알려지면서입니다. 최근 수년 동안 전 세계 AI 개발자들을 괴롭힌, 'AI의 편견'이 다시 한번 확인된 겁니다.

참고기사 ☞ [테크톡] 섬뜩한 AI의 편견 “당신은 고릴라입니다”
http://news.kbs.co.kr/news/view.do?ncd=5070123


이용자들이 공개한 이루다와의 대화를 보면, 이루다는 레즈비언이나 임산부 좌석 등의 단어에 "혐오스럽다"는 반응을 보입니다. "여자다운 건 아기 같은 스타일"이라는 성차별적 발언도 내놓습니다.

제작사가 결국 서비스를 중단할 수밖에 없었던 이유입니다.

이루다 대화 모습 [사진 출처 : 페이스북 캡처]이루다 대화 모습 [사진 출처 : 페이스북 캡처]

여러모로 이번 이루다 사건은 2016년 마이크로소프트(MS) '테이' 사건을 떠올리게 합니다. 당시 MS가 발표한 인공지능 채팅봇인 ‘테이’는 사용자와 대화를 하며 “히틀러가 옳다. 난 유대인이 싫다”는 식의 인종차별 발언을 쏟아냈습니다.

결국, MS는 16시간 만에 서비스를 중단했습니다.

'이루다'나 '테이'의 편견은 AI 스스로 생각해낸 게 아닙니다. 모두 인간이 제공한 데이터에서 나온 것입니다.

이루다는 스캐터랩이 만든 다른 앱 '연애의 과학'의 텍스트 데이터를 학습해 만들어졌습니다. 연애의 과학은 연인과 나눈 카카오톡 대화를 입력하면 애정도 수치를 보여주는 앱입니다.

스캐터랩은 연애의 과학으로 수집한 카톡 대화 약 100억 건을 데이터로 삼아 이루다를 개발했다고 합니다.

테이 역시 마찬가지입니다. 테이는 자신과 대화한 사람들의 말을 배우고 모방하는 식으로 자가 학습했는데, 이를 일부 이용자들이 악용하며 테이의 말투가 오염되기 시작했습니다.

결국, 인간이 문제의 시발점인 셈입니다.


■ AI 시대는 피할 수 없는 흐름

막대한 양의 정보를 빠르게 학습하는 딥러닝(deep learning.심층학습) 기술이 발달하며, AI의 영역도 넓어지고 있지만 'AI의 편견'은 여전히 풀어야 할 숙제입니다.

AI가 학습하는 데이터는 결국 인간이 만든 것인데, 그 데이터 자체가 편향돼 있다면 어떻게 해결해야 하는가입니다.

AI의 편견은 단순히 챗봇 같은 대화로만 그치지 않습니다. 앞서 2016년엔 미국 일부 주 법원에서 사용하고 있는 AI '콤파스'가 흑인을 차별한다는 사실이 밝혀지기도 했습니다.

콤파스는 피고의 재범 가능성을 계산해 판사에게 구속 여부를 추천하는 알고리즘인데, 흑인의 재범 가능성을 백인보다 2배 위험하다고 봤습니다. AI의 편견에 인간의 삶이 송두리째 바뀔 수 있습니다.

AI의 편견을 없애려면, 우선 AI의 설계 단계부터 인적 구성이 다양해야 한다는 지적이 나옵니다. 현재 IT 업계는 남성 위주인데, 특히 미 실리콘밸리는 백인 남성이 대부분입니다.

이와 관련 유네스코는 머신러닝 분야에서 일하는 여성 비율이 12%(2017년)에 머문다는 통계를 발표한 바 있습니다. AI 시민단체인 미 ‘알고리즘정의연맹’은 "백인 남성 위주 문화가 AI의 편견으로 이어진다"고 주장합니다.

인간 본성에서 오는 데이터 편향성을 인정한다면, 추후 보정을 통해 AI의 편향성을 없앨 수도 있습니다. 예컨대, '오버샘플링'이라는 기법은 일부러 숫자가 적은 데이터에 가중치를 주는 방식으로 AI를 학습합니다. AI에게 주입하는 데이터에서 예컨대 흑인이나 여성에 가중치를 줘 편향성을 줄이는 식입니다.

궁극적으론 AI의 윤리성을 강조하는 규제가 필요하다는 목소리가 큽니다. 이와 관련, 2019년 유럽연합(EU)은 AI의 차별성을 반대하는 등 AI 윤리 7대 가이드라인을 제정하기도 했습니다.

AI가 가진 무궁무진한 가능성은 우리를 시나브로 AI 세계로 이끌고 있습니다. AI는 운전하고, 작곡하고, 글을 쓰고, 치료까지 하며 영역을 넓히고 있습니다.

코앞으로 다가온 AI 시대를 앞두고, 20살 이루다가 던진 숙제를 풀어야만 하는 이유입니다.

참고기사 ☞ [테크톡] 섬뜩한 AI의 편견 “당신은 고릴라입니다”
http://news.kbs.co.kr/news/view.do?ncd=5070123
  • [테크톡] 20살 ‘이루다’가 불붙인 논쟁…‘인공지능의 편견’
    • 입력 2021-01-13 09:26:13
    취재K

'이루다'의 여정은 결국 20여 일 만에 끝났습니다.

인공지능(AI) 스타트업 스캐터랩이 만든 페이스북 메신저 기반 AI 챗봇 '이루다' 이야기입니다.

이루다는 20살 여자 대학생이라는 설정을 하고 있습니다. 지난달 말 출시 직후 '사람처럼 대화한다'는 입소문이 퍼지며 이용자가 50만 명을 넘어섰지만 최근 혐오 발언 및 개인정보 유출 논란을 겪었습니다.

스캐터랩은 지난 11일 자로 이루다 서비스를 중단한 상태입니다.


■ 'AI 편견' 다시 확인..시발점은 '인간'

처음 이루다가 논란이 된 건, 일부 남성 이용자들이 이루다를 성적 대상으로 취급하며 악용하면서입니다. 이때만 해도 일부 이용자의 도덕성·윤리성 문제였습니다.

더 큰 문제는 이루다가 동성애·장애인·여성 차별 발언을 내놓는다는 사실이 알려지면서입니다. 최근 수년 동안 전 세계 AI 개발자들을 괴롭힌, 'AI의 편견'이 다시 한번 확인된 겁니다.

참고기사 ☞ [테크톡] 섬뜩한 AI의 편견 “당신은 고릴라입니다”
http://news.kbs.co.kr/news/view.do?ncd=5070123


이용자들이 공개한 이루다와의 대화를 보면, 이루다는 레즈비언이나 임산부 좌석 등의 단어에 "혐오스럽다"는 반응을 보입니다. "여자다운 건 아기 같은 스타일"이라는 성차별적 발언도 내놓습니다.

제작사가 결국 서비스를 중단할 수밖에 없었던 이유입니다.

이루다 대화 모습 [사진 출처 : 페이스북 캡처]이루다 대화 모습 [사진 출처 : 페이스북 캡처]

여러모로 이번 이루다 사건은 2016년 마이크로소프트(MS) '테이' 사건을 떠올리게 합니다. 당시 MS가 발표한 인공지능 채팅봇인 ‘테이’는 사용자와 대화를 하며 “히틀러가 옳다. 난 유대인이 싫다”는 식의 인종차별 발언을 쏟아냈습니다.

결국, MS는 16시간 만에 서비스를 중단했습니다.

'이루다'나 '테이'의 편견은 AI 스스로 생각해낸 게 아닙니다. 모두 인간이 제공한 데이터에서 나온 것입니다.

이루다는 스캐터랩이 만든 다른 앱 '연애의 과학'의 텍스트 데이터를 학습해 만들어졌습니다. 연애의 과학은 연인과 나눈 카카오톡 대화를 입력하면 애정도 수치를 보여주는 앱입니다.

스캐터랩은 연애의 과학으로 수집한 카톡 대화 약 100억 건을 데이터로 삼아 이루다를 개발했다고 합니다.

테이 역시 마찬가지입니다. 테이는 자신과 대화한 사람들의 말을 배우고 모방하는 식으로 자가 학습했는데, 이를 일부 이용자들이 악용하며 테이의 말투가 오염되기 시작했습니다.

결국, 인간이 문제의 시발점인 셈입니다.


■ AI 시대는 피할 수 없는 흐름

막대한 양의 정보를 빠르게 학습하는 딥러닝(deep learning.심층학습) 기술이 발달하며, AI의 영역도 넓어지고 있지만 'AI의 편견'은 여전히 풀어야 할 숙제입니다.

AI가 학습하는 데이터는 결국 인간이 만든 것인데, 그 데이터 자체가 편향돼 있다면 어떻게 해결해야 하는가입니다.

AI의 편견은 단순히 챗봇 같은 대화로만 그치지 않습니다. 앞서 2016년엔 미국 일부 주 법원에서 사용하고 있는 AI '콤파스'가 흑인을 차별한다는 사실이 밝혀지기도 했습니다.

콤파스는 피고의 재범 가능성을 계산해 판사에게 구속 여부를 추천하는 알고리즘인데, 흑인의 재범 가능성을 백인보다 2배 위험하다고 봤습니다. AI의 편견에 인간의 삶이 송두리째 바뀔 수 있습니다.

AI의 편견을 없애려면, 우선 AI의 설계 단계부터 인적 구성이 다양해야 한다는 지적이 나옵니다. 현재 IT 업계는 남성 위주인데, 특히 미 실리콘밸리는 백인 남성이 대부분입니다.

이와 관련 유네스코는 머신러닝 분야에서 일하는 여성 비율이 12%(2017년)에 머문다는 통계를 발표한 바 있습니다. AI 시민단체인 미 ‘알고리즘정의연맹’은 "백인 남성 위주 문화가 AI의 편견으로 이어진다"고 주장합니다.

인간 본성에서 오는 데이터 편향성을 인정한다면, 추후 보정을 통해 AI의 편향성을 없앨 수도 있습니다. 예컨대, '오버샘플링'이라는 기법은 일부러 숫자가 적은 데이터에 가중치를 주는 방식으로 AI를 학습합니다. AI에게 주입하는 데이터에서 예컨대 흑인이나 여성에 가중치를 줘 편향성을 줄이는 식입니다.

궁극적으론 AI의 윤리성을 강조하는 규제가 필요하다는 목소리가 큽니다. 이와 관련, 2019년 유럽연합(EU)은 AI의 차별성을 반대하는 등 AI 윤리 7대 가이드라인을 제정하기도 했습니다.

AI가 가진 무궁무진한 가능성은 우리를 시나브로 AI 세계로 이끌고 있습니다. AI는 운전하고, 작곡하고, 글을 쓰고, 치료까지 하며 영역을 넓히고 있습니다.

코앞으로 다가온 AI 시대를 앞두고, 20살 이루다가 던진 숙제를 풀어야만 하는 이유입니다.

참고기사 ☞ [테크톡] 섬뜩한 AI의 편견 “당신은 고릴라입니다”
http://news.kbs.co.kr/news/view.do?ncd=5070123
kbs가 손수 골랐습니다. 네이버에서도 보세요.
기자 정보