[사사건건] ‘제각각’ 여론조사 ARS-전화면접 어떻게 다를까?

■ 방송시간 : 1월 27일(목) 16:00~16:40 KBS1
■ 진행 : 범기영 기자
■ 출연 : 윤희웅 오피니언라이브 센터장


https://youtu.be/whJgecI9Nik

◎범기영 매일 쏟아지는 여론조사 결과가 오히려 흐름을 읽는 데 방해가 되는 경우도 있습니다. 오늘 사사건건에서는 여론조사 결과 사용법 짚어드리겠습니다. 윤희웅 오피니언라이브 여론분석센터장 나와 있습니다. 어서 오십시오.

▼윤희웅 안녕하십니까?

◎범기영 센터장님은 직업상 매일매일 여론조사 결과 보시겠습니다.

▼윤희웅 네, 그렇습니다.

◎범기영 보면 비슷한 시기에 나오는 건데 결과가 완전히 다른 경우들도 있어요. 왜 그렇죠?

▼윤희웅 요즘에 여론조사 결과가 너무 많이 보도가 되는데요. 지금 사실 보면 최근 한 몇 개월 동안 하루에 전국 대선 관련 여론조사가 한 건 이상씩 실시되어서 공개되고 있어요.

◎범기영 그렇죠.

▼윤희웅 그러니까 보도되는 것 그 외에 추가로도 많은데요. 우리가 '필터 버블'*이라고 하는 것이 있거든요.(*필터 버블(Filter Bubble): 인터넷 정보제공자가 맞춤형 정보를 이용자에게 제공해 이용자는 필터링 된 정보만을 접하게 되는 현상) 내가 믿고 싶은 정보만 이제 찾아서 받아들이고 하는 것들이 있는데, 요즘에 보면 여론조사 결과도 워낙 많고 다양한 것들이 많다 보니까 내가 믿고 싶은 여론조사 결과만 믿을 수 있는 것들이 도처에 놓여 있기 때문에 사람들의 어쨌든 대중의 어떤 심리에도 상당히 영향을 많이 주는 것으로 볼 수 있는데요. 지금 이제 차이가 많이 나는 것 중의 가장 큰 여론조사 관련해서 쟁점이라고 하는 것은 조사 방식에 관한 것입니다. 그러니까 첫 번째로 많이 보시는 것 중에 ARS 시스템으로 조사된 결과를 많이 보시고 또 한 가지는 사람 면접원이 하는 조사 결과를 받아보시는데.

◎ 범기영 직접 사람이 전화를 거는.

▼윤희웅 이것은 조사 관점에서 봤을 때는 완전히 다른 방식입니다. 그러니까 조사 방식이 다르면 다른 조사예요. 그런데 언론에서 보도할 때는 이것을 추이를 같이 놓고 여기에서 몇 퍼센트가 올랐다, 지난주에 비해서. 이렇게 비교를 하시거나 또 보시는 분들도 그렇게 인식하는 경향이 있는데요. 그렇게 하시면 안 되는데, 왜냐하면 특성이 이제 다르기 때문인데요. 우리가 이제 ARS 조사로 만약에 여론조사가 온다고 한다면 우리가 마케팅 홍보 전화 같은 것들이 ARS로 많이 오거든요? 그러면 관심이 없는 분들은 바로 끊어버리게 됩니다.

◎범기영 저 같은 경우는 거의 바로 끊습니다.

▼윤희웅 그래서 아주 착하신 분이거나 아니면 그 이슈에 대해서 관심이 많은 분들, 내가 암 보험 관련해서 관심이 있었는데 마침 그 홍보가 왔으면 끝까지 이제 듣는 것이죠. 여론조사도 마찬가지입니다. 대선과 관련해서 관심이 많은 분들, 정말 선거에 또 정치에 관심이 많은 분들은 ARS 조사 같은 경우 마지막까지 응답을 친절하게 하시는 분들이 있습니다.

◎범기영 사람이 하는 게 아닌데도? 기계가 물어봐도 끝까지 대답을 하시는군요.

▼윤희웅 그런 분들이 있죠. 그 부분에 관심이 많으니까. 그런데 사람 면접원이 하게 될 경우에는 관심 없는 분들은 이제 ARS 시스템에서는 빨리 끊어버리고, 그런데 사람 면접원이 하게 되면 거기도 이제 많이 끊는 분들이 있습니다만 우리 한국 사람들이 이제 정이 있다 보니까 사람한테 그냥 바로 끊는 경우들이 사실은 이제..

◎범기영 좀 미안하죠.

▼윤희웅 상대적으로 적잖아요? 그러면 빨리하시라고 하면서 마지막까지 응답을 하는데 정치에 관심이 좀 덜한 분들, 적은 분들도 좀 마지막까지 응답을 하는 경향들이 다소간 더 높습니다.

◎범기영 고관여층, 고관심층, 그 관심이 적은 분들, 이거 말고 혹시 지지 성향에 따라서도 좀 다릅니까?

▼윤희웅 보게 되면 만약에 어떤 정치, 대선에 나오는 후보에 따라서 이제 누구를 지지하는 분들이 있잖아요? 그렇게 되면 사실은 이제 지지를 한다고 하는 것을 지금 마음을 갖고 있다는 건 정치 고관심층인 거예요. 그런 분들 사실은 ARS 응답을 많이 하게 됩니다. 그런데 이제 전통적으로 보게 되면 ARS 같은 경우에 상대적으로 사람 면접원이 하는 조사에 비해서 보수층 응답들이 이전에 보게 되면 좀 더 높게 잡히는 것이 경험적으로 있긴 있었어요.

◎범기영 ARS는 보수층.

▼윤희웅 응답이 다소간 높게 잡히는 그런 흐름들이 과거에 있긴 있었는데 그 특성이 여전히 있습니다만 더 본질적인 것은 고관심층이 잡힌다. 그러니까 뭐냐 하면, 중도층 같은 경우에, 정치 관심도가 좀 낮을 거 아니에요? 그런 분들은 ARS 조사 같은 경우에는 잘 표집이 되지 않습니다. 그러니까 조사 결과를 자세히 보시게 되면 ARS 조사에 나는 아직 지지 후보를 정하지 못했다고 하는 사람들의 비율이 한 5%밖에 안 돼요. 그렇지만 사실 주변에 관심이 없는 분들 물어보게 되면 난 아직 누구 찍을지 정하지 않았습니다, 라고 하는 분들이 많이 있거든요. 그런데 ARS에서는 매우 적은 거니까 그런 분들은 표집이 좀 덜 되는구나, 그것은 사람 면접원 조사에서, 많이 전화 면접이라고 불리는 조사에서 상대적으로 많이 표집이 되고 있다, 이렇게 보시면 되겠고요.

범기영 조사 기법에 따라서는 그렇고.

▼윤희웅 또 한 가지 보게 되면 질문들이 사실은 조사 기관마다 좀 다릅니다. 우리가 여론조사라고 하는 것은 자극에 대한 반응이에요. 그러니까 자극은 바늘로 찔렀을 때 나오는 소리 또는 도끼로 만약에 찔렀다, 만약에 곡괭이로 찔렀다 하면 더 큰 소리가 나오잖아요. 그러니까 자극이 다르면 반응이 다를 수밖에 없는데, 만약 우리가 이제 누구에게 투표하시겠습니까, 라고 질문하는 경우도 많고 또는 누가 대통령으로 적합하다고 보십니까, 라고 묻는 질문도 많고요. 또는 누구를 지지하십니까, 라고 묻는 경우도 있고 또 어떤 경우에는 누구를 선호하십니까, 라고 묻는 경우도 있어요. 그런데 다 비슷해 보이긴 하지만 보도할 때는 다 지지도라고 보도를 하지만 그것을 들어서 응답하는 사람들 같은 경우는 약간 다르게 응답을 하게 됩니다. 뭐냐 하면, 적합도라고 하면 여러 가지 경험들이 많이 있는 사람, 혹은 국정 경험들, 행정 경험들이 있는 사람들이 낫지 않을까, 라고 해서 응답하는 분들이 있고요. 누구를 지지하느냐고 묻게 될 경우에는 내가 어느 정당을 좀 지지하는 경향들이 있는, 정치적 성향이 있는 분들한테는 그것이 반응도가 높게 나타납니다. 그다음에 누구를 더 선호하십니까, 라는 질문을 받은 사람은 그 사람에 대한 어떤 인간적 면모가 있다고 하는 후보들이 좀 더 높게 나오는 경향들이 있어요. 그런데 보도할 때는 이런 것들을 구분하지 않고 그냥 수치로만 보도를 하다 보니까 조사마다 결과가 다르다고 하는 오해를 더욱 증폭시키는 원인이 된다고 하겠습니다.

◎범기영 수용자들이 이해를 잘못하게 만드는 과정에는 저희들 잘못이 큰 거군요. 최근에 이런 사례가 있었어요. 그래픽 만들어놓은 걸 좀 올려주시겠어요? 코리아리서치가, 같은 조사기관입니다, 위에 보시면. 조사 기간도 거의 차이가 없어요. 그런데 결과를 보시면 완전히 1, 2위가 뒤바뀌어 있죠? 윤석열 후보, 특히 윤석열 후보 지지율을 보면 거의 10%p가 넘습니다, 지금.

▼윤희웅 그렇습니다.

◎범기영 그러니까 이 사안을 보고는 그날 정말 다 고개를 갸우뚱했습니다. 하나는 코리아리서치가 직접 한 조사고 다른 하나는 NBS.

▼윤희웅 거기에 그 기관도 포함이 되어 있었죠.

◎범기영 그렇죠. 거기에 일부 참여하면서 내놓은 결과입니다. 이 일은 왜 이런 일이 벌어진 겁니까?

▼윤희웅 이것은 이제 많은 조사 결과가 다른데 또 동일한 기관이 포함돼 있는데, 또 비슷한 시기였거든요?

◎범기영 조사 방법도 같고.

▼윤희웅 그래서 상당히 이제 의아하다고 하는 시각들이 있어서 그 원인에 대해서는 면밀히 살피고 있는 것으로 알고 있는데, 일각의 원인 중의 하나는 이런 것들을 얘기하고 있습니다. 뭐냐 하면, 조사 문항 중에, 그러니까 마지막까지 응답하는 사람들이 어떤 성향들이 많이 포함되어 있느냐가 실제로 중요하거든요? 왜냐하면, 중간에 끊는 분들이 있어요. 그런데 한 조사에서는 단일화 관련 조사를 많이 집어넣었어요. 그러니까 그러면 단일화 관련해서 지금 이제 야권에서 단일화가 이루어지고 있는데, 이루어질 가능성이 이제 있는 것인데, 그러면 단일화에 관심 있는 사람들은 야권층일 가능성이 높잖아요. 그런데 단일화에 관심이 없는 사람들은 여권층일 가능성이 있거든요. 그러면 단일화 질문들이 반복돼서 나오니까 여권 성향에 있는 사람들은 상대적으로 더 많이...

◎범기영 이탈하고.

▼윤희웅 도중에 이탈을 할 가능성이 있는 것이고 또는 야권 성향층에서는 마지막까지 응답을 하게 되는데, 그러면 최종적으로 응답한 사람들만의 결과만 가지고 여론조사 결과를 내는 것이거든요. 그런 면에서 다소 그것이 영향 받았을 것이다, 라고 하는 가설이 하나 있는 것이고. 그럼에도 불구하고 이것을 한 가지 이 이유 때문에, 이렇게 10%p 이상 차이 나는 것은, 좀 그것은 또 다른 원인들이 있을 것이라고 하는 것인데, 아까 말씀드린 대로 그것은 추가적인 분석이 필요한 부분이라고 할 수 있습니다.

◎범기영 이게 그러니까 어려운 거예요.

▼윤희웅 네, 그렇습니다.

◎범기영 그냥 누구를 지지하십니까, 이거 하나만 물어보는 게 아니라 여러 문항들이 구성돼 있기 때문에 질문의 흐름에 따라서도 또 마지막 최종 결과가 달라지는.

▼윤희웅 그러니까 어떤 지표들 같은 데에서도 우리가 순서 효과 또는 문맥 효과, 이런 표현을 쓰는데요. 만약에 어떤 정부에 대해서 잘못하는 일을 앞에 쭉 물어놓고 마지막에 가서 이 정부가 지금 일을 잘하고 있습니까, 잘 못 하고 있습니까, 라고 질문하게 된다면 영향을 받는 것이거든요. 그다음에 어떤 설문 표현에 이것은 이제 강행 처리를 찬성하십니까? 또는 합의해야 된다고 보십니까? 강행 처리는 무조건 나쁜 말인 것 같은.

◎범기영 합의가 좋은 말인 것 같죠.

▼윤희웅 좋은 말이고, 그러니까 내용 여부는 떠나가지고 합의로 몰릴 수밖에 없는 것이거든요. 그러니까 이런 어떤 단어를 쓰느냐도 상당히 중요하다고 하겠습니다.

◎범기영 알겠습니다. 매일 여론조사가 나오는데 저희가 어떻게 읽어야 됩니까? 어떤 수치를 좀 더 주목해서 보는 게 흐름을 정확하게 이해하는 데 도움이 될까요?

▼윤희웅 지금 많은 분들이 다양한 얘기를 하는데요. 일단은 이제 선거와 연관되어 있는 선거 조사라고 한다면 수치의 높고 낮음도 상당히 중요하고요, 1차적으로. 두 번째로는 사실 그 수치가 보면 다 동일한 수치는 아닙니다. 만약에 후보들의 어떤 지지 강도라고 할 수 있는데요. 동일한 30%, 동일한 40%라고 하더라도 어떤 후보의 지지 강도가 더 높을 수가 있어요.

◎범기영 지지 강도라는 게 뭡니까?

▼윤희웅 뭐냐 하면, 그 사람들은, 그 사람을... 만약에 우리가 지지 강도를 0에서 10까지 나눈다고 한다면 어떤 후보는 한 4 정도로 지지할 수 있고 또 어떤 사람들은 어떤 후보에 대해서 한 8의 강도로 지지할 수가 있거든요. 그러면 지지 강도가 차이가 나는데 그러면 이것이 어떤 영향을 미치는 것이냐, 지지 강도가 높은 사람들은 후보를 바꾸지 않고요. 그다음에 마지막에 투표장에 투표하러 갑니다.

◎범기영 투표 의향이 높고 후보를 바꿀 생각은 낮고.

▼윤희웅 그렇습니다. 그러면 이것이 실제로 왜 중요하냐 하면, 여론조사 같은 경우에는 투표에 참여하지 않을 사람도 포함된 여론인 거예요. 그렇지만 선거 결과는 투표에 참여한 사람들만의 여론인 것입니다.

◎범기영 그 수만 합쳐서 결과를 아는 거죠.

▼윤희웅 그러니까 투표장에 누가 나가느냐, 그러니까 누가 지지 강도가 많은 지지층을 보유하고 있어서 그 사람들이 대거 투표에 나가느냐 문제인데요. 우리가 많이 거론되고 하는 것이 트럼프, 힐러리 옛날에 이 얘기 있잖아요. 여론조사에서는 힐러리가 높았는데 트럼프 후보가 당선이 됐잖아요, 처음에 대결했을 때. 그런데 이것은 여론조사가 틀렸다고 하는 비판들이 있습니다만 여론조사는 맞았을 가능성이 높습니다. 그렇지만 트럼프의 지지자들의 지지 강도가 매우 높았기 때문에 이 사람들은 거의 대부분 투표장에 나간 것입니다. 그러니까 투표장에 나온 사람들만 봤더니 그때는 트럼프 지지자가 많았기 때문에 트럼프가 당선됐다, 이렇게 보는 시각을 고려하는 것이 상당히 중요하다고 하겠습니다.

◎범기영 이 부분은 어떻습니까? 최근에 2030 이야기 굉장히 많이 하고 있고 스윙보터로 주목하고 있는데, 여론조사로 표집하는 그 숫자 자체가 적어서 오차 범위가 너무 큰 게 아니냐, 이런 지적도 있더라고요.

▼윤희웅 맞습니다. 지금 이제 사실은 동일 세대에서 남녀가 이렇게 다른 것은 대한민국 처음 있는 일이거든요. 그래서 상당히 주목되는 현상이긴 한데 이것을 분석하고 보도할 때 보게 되면, 대개 한 20대, 30대 각 연령대들은 한 1,000명 중에서 200명 정도 됩니다. 그러니까 20% 정도 되는 거죠. 그런데 그것을 남녀로 나누게 되면 한 100명, 100명 정도밖에 안 될 거 아니에요? 그런데 1,000명 조사에서 100명이라고 한다면, 우리가 표본오차를 플러스마이너스 3.1%p, 1,000명일 때 얘기하거든요? 95% 신뢰 수준에서. 그런데 이것은 6.2%p 내에서는 무의미합니다, 라고 하는 것을 얘기를 암호처럼 해놓은 것이거든요. 그런데 20대에 만약에 남녀를 나눠서 남자가 몇 퍼센트가 떨어졌고 여성이 몇 퍼센트 올랐다, 이렇게 얘기하잖아요? 그렇게 될 경우에는 100명 정도 가지고 얘기하는 것이기 때문에 이럴 경우에 표본오차가 플러스마이너스 10%를 넘어가요. 그러면 이 10% 이내는 의미가 없는 것인데 이것을 과도하게 의미 부여해서 하는 것은 오해를 불러올 소지도 있다는 점을 말씀드리고 싶습니다.

◎범기영 이 내용은 흐름을 잘 보셔야 되고 오차범위는 훨씬 클 수 있다.

▼윤희웅 네, 그렇습니다.

◎범기영 이런 내용이네요. 지금 속보가 하나 들어왔는데 전해드릴까요? 이재명 후보 측에서 31일에 윤석열 후보와 양자 토론, 수용하겠다, 이런 입장을 내놨습니다. 31일에 4자 토론하자고 기존에 제안을 해왔었는데 양자 토론도 수용하겠다. 4자 토론도 나중에 참석할 용의가 있다, 이런 입장을 밝혔습니다. 마무리해야겠네요. 윤희웅 센터장이었습니다. 고맙습니다. 저는 내일 돌아오겠습니다. 4시엔 사사건건.

구성·정리: 최승혜 하연우