[더 보다] 그 여론조사, 믿을 수 있습니까?

■같은 날 실시한 세 개의 여론조사

2월 14일부터 15일까지 이틀에 걸쳐 실시한 세 개 여론조사의 양당 지지율 결과입니다. 같은 날 진행한 조사인데 조사마다 큰 차이가 보입니다. 무슨 차이가 있어 이런 결과 차이가 발생하는 걸까요?

조사 방법부터가 다릅니다. A 조사와 C 조사는 휴대전화 가상번호를 활용한 전화면접조사, B 조사는 무작위번호추출(RDD)를 이용해 ARS 조사를 했습니다. 가중방식도 A와 C 조사는 셀 가중 방식을, B 조사는 림 가중 방식을 썼습니다. 조사방법이 다른 만큼 응답률에서도 차이가 있습니다. A조사는 14%, B 조사는 9.6%, C 조사는 15.7%입니다.

결과표를 좀 더 자세히 볼까요? 최근 많이 거론되는 이념 성향별 응답자 수에서 큰 차이가 눈에 띕니다. 세 개 조사 모두 보수성향 응답자가 더 많기는 했는데 그 차이가 A 조사는 5%p, B조사는 12%p, C 조사는 8%p 입니다. 보수성향 응답자 수와 진보성향 응답자 수의 격차가 가장 작은 A 조사에서 더불어민주당이 크게 앞서는 것으로, 격차가 가장 큰 B 조사에선 국민의힘이 오차범위 밖에서 앞서는 것으로 나타난 걸 확인할 수 있습니다.

이념 성향별 응답자 차이 외에 성별, 연령별, 지역별 응답자 구성을 좀 더 봐야겠습니다. 어느 층의 응답자가 더 많이 혹은 덜 응답했는지에 따라 가중값 적용치가 달라지는데 이런 차이가 결과에도 영향을 어느 정도 미치기 때문입니다.

기본적으로 전화면접여론조사의 경우 가중값 배율이 크게 차이 나지 않습니다. 가중값 배율이 대체로 1에 가까워 필요한 모집단 수에 가깝게 성별, 연령별, 지역별 응답자를 채운 것으로 나타납니다. 반면 ARS 조사를 한 B 조사의 경우, 가중값 배율이 1.3까지 커지는 경우가 나왔습니다. 만 18세~29세까지 20대 응답자인데, 154명의 응답을 받아야 하지만 최종적으로 122명의 응답만 받아 모자란 32명의 응답을 122명의 응답에 가중치를 적용해 만들어내야 했습니다.

특히 '20대 여성'의 경우가 심한데, 37명의 응답을 받아 73명의 응답으로 보정했습니다. 절반의 응답만으로 나머지 절반 여론을 붙여 넣기 한 겁니다.

응답자 분포를 조금 더 자세히 보겠습니다. A 조사의 경우에는 다른 조사들과 달리 남성보다 여성의 응답률이 높은 것이 확인됩니다. 다른 여론조사들의 경우 여성은 모집단보다 덜 응답하고 남성은 더 응답하는 경우가 일반적인데, 이 조사에서는 여성들이 더 적극적으로 응답하고 남성들은 오히려 모집단을 채우지 못한 점이 다르게 보입니다. 좀 더 좁혀서 보면, '20대 남성'의 경우 81명의 응답을 받아야 했지만, 최종적으로 71명만 응답해 10명의 응답을 가중값으로 채웠습니다.

C 조사의 경우엔 70세 이상의 응답을 애초 목표만큼 채우지 못했습니다. 151명을 채워야 했는데 최종적으로 130명의 응답만 받아 21명이나 가중치로 채웠습니다. 가중값 배율은 1.16입니다. 더 세부적으로는 '광주전라 지역 70세 이상 여성'의 경우, 6명의 응답만 받아 11명의 응답으로 부풀렸습니다.

각 조사에서 물어본 질문들도 상이합니다. 정당 지지율 외에 A 조사는 ▲ 명태균 특검법 ▲김건희 여사의 계엄 가담 정도 등의 정치 현안에 대한 질문을 던졌고 B 조사는 ▲윤 대통령 지지 여부 ▲ 헌법재판소의 공정성 ▲ 윤 대통령의 방어권 여부 등을 물었습니다. C 조사는 주로 대선 구도와 후보 간 가상대결을 위주로 추가 질문이 구성돼 있습니다. 응답자의 성향에 따라 조사를 중간에 중단할 수 있는 여지가 다분한 구성입니다.

설문 문항에 영향을 받기도 했겠지만, 그 전에 어디서 조사했는지에 따라 일어나는 ‘하우스이펙트’(여론조사기관의 경향성이 조사 결과에 영향을 미치는 효과)도 무시할 수 없습니다. A 조사는 방송인 김어준 씨가 설립한 여론조사꽃의 자체 조사입니다. B 조사는 지난 1월 윤 대통령 지지율이 41%까지 나왔다는 조사 결과 발표로 논란이 됐던 한국여론평판연구소(아시아투데이 의뢰)의 조사 결과이고, C 조사는 JTBC 의뢰로 메타보이스가 수행한 조사입니다.

보통 특정 성향의 의뢰기관에 따른 편향 현상을 피하기 위해 여론조사를 진행할 때 의뢰기관은 알려주지 않습니다. 하지만 조사기관이 어디인지는 고지해야 하는데, 조사기관에 특정한 성향이 씌였을 경우 응답자들의 응답 과정에 영향을 줄 수밖에 없습니다. 자신이 선호하는 조사기관의 조사에는 적극적으로 응답하고 그렇지 않을 경우에는 조사를 방해하는 경우도 존재할 수 있는 겁니다.

이봄내 /중앙선거여론조사심의위원회 기획팀장 선거 여론조사는 본질적으로 표본에 대한 조사를 통해서 전체 유권자의 의견을 ‘추정’하는 조사 방식이기 때문에 이 조사가 이루어지는 방법 그러니까 표본을 추출하는 방식이나 조사를 하는 방법, 또 질문지를 구성하는 방법이나 또 이 선거 조사가 이루어질 때 그 당시에 있었던 이슈들이 아주 다양하게 조사 결과에 영향을 미칠 수밖에 없기 때문에 조사 결과 간의 편차가 발생하는 것은 어떻게 보면 피할 수가 없는 일인데 이 조사 결과 간의 편차가 있다는 것만으로 어떤 논란이 발생하는 것은 사실 좀 조사의 특성 자체에 대한 이해가 필요한 부분이라고 생각합니다.

이렇게 여론조사는 다양한 요소에서 변수와 오차가 발생할 여지가 큽니다. 전문가들이 조사 하나하나에, 숫자 하나하나에 의미를 부여해선 안 된다고 얘기하는 이유입니다.

■ 믿을 수 있는 여론조사는?

그럼 어떤 여론조사가 믿을 만할까요? 전문가들은 우선 응답률을 볼 필요가 있다고 말합니다. 나아가 중앙선거여런조사심의위원회 홈페이지에 응답률과 함께 표기되는 접촉률도 같이 보면 좋다고 합니다.

김영원/ 숙명여대 통계학과 명예교수 (전 중앙선거여론조사심의위원장) 응답률이 높은 조사가 방법론 관점에서 보면 훨씬 더 신뢰할 수 있는 그런 조사죠. 쉽게 얘기해서 와인 고를 때 어떻게 골라요? 전문가들은 좋은 와인 나쁜 와인 맛보면서 고를 수 있지만 일반인은 어떡하죠? 가격 보죠? 보통 5만 원짜리 와인이 있고 한 1만 원짜리 와 있으면 “5만 원짜리 이게 좋은가 보다. 오늘 귀한 손님이 오면 5만 원짜리 와인 써야지” 이러잖아요. 조사도 마찬가지예요. 어떤 게 비싼지 싼지를 보는 제일 간단하면서 확실한 방법은 응답률하고 접촉률 보는 거예요. 접촉률하고 응답률이 높은 조사가 양질의 조사다.

중앙선거여론심의위원회 홈페이지에는 각 공표 정치여론조사에 대한 설명과 자세한 결과표가 첨부돼 있습니다. 여기 나와 있는 정보로 어느 정도 믿을만한 여론조사를 판별할 수 있습니다.

여심위 홈페이지에는 응답률, 접촉률 외에 조사 방법, 표본 표집 틀, 사용 규모와 표본 수, 가중값 산출 방법 등이 나와 있습니다. 표본 표집 틀은 가상안심번호가 RDD(무작위추출) 보다 확률추출에 가까워 더 신뢰성이 있습니다. 가중값 산출 방법은 셀 가중이 림 가중보다 정교한 가중 방식이어서 더 믿을 만한 것으로 평가받습니다.

각 여론조사 결과표를 확인하면 더 많은 정보로 신뢰성을 가늠해 볼 수 있습니다. 응답자 분포도를 보면 성별, 연령별, 지역별 조사 완료 사례자 수와 가중값 적용 기준, 그리고 가중값 배율이 있는데 가중값 배율이 1에 수렴할수록 목표했던 모집단의 수만큼 응답을 완료했다는 의미입니다. 그만큼 표본 대표성을 확보했다는 뜻이기 때문에 신뢰할 만합니다. 가중값 배율이 1보다 클수록 적은 응답자에게 많은 가중값을 적용했다는 뜻이므로 표본 대표성이 왜곡됐을 가능성도 큽니다. 성별, 연령별, 지역별로 각각 어느 부문에서 표본 대표성이 덜 확보됐는지 비교해 보는 것도 여론조사 결과를 해석하는 데 도움이 됩니다.

추가로 설문 문항이 어떻게 구성됐는지 살펴보는 것도 좋습니다. 객관적인 질문들인지, 특정 답변을 유도하는 질문들인지 상식선에서 보면 조사 결과가 얼마나 신뢰할 만한지도 생각할 수 있습니다.

■ 정치적 격변기, 출렁이는 여론조사

이런 점들에 비춰 한국갤럽의 자체 정례 조사는 가장 많이 인용되고 신뢰성이 높은 것으로 평가받는 조사입니다. 이 조사는 얼마나 믿을 만할까요?

비상계엄령 전 37% 대 27%였던 더불어민주당과 국민의힘 지지율은 계엄 직후 40%대 24%로 벌어지더니 탄핵소추안이 부결된 뒤에는 48% 대 24%로, 더블스코어로까지 벌어졌습니다.

하지만 탄핵소추안이 국회를 통과된 뒤, 해를 넘겨 윤 대통령에 대한 체포 정국으로 가면서 그래프가 크게 꺾이는 현상을 보였습니다. 1월 2주 차 조사에서 36% 대 34%로 오차범위 내 접전으로 바뀌더니 조사 때마다 오차 범위 내에서 엎치락뒤치락하고 있습니다.

한국갤럽 조사도 이념 성향에 따른 응답자 구성이 결과에 영향을 줬습니다. 계엄 사태 이전 조사에서 진보성향 응답자와 보수성향 응답자의 비율 차이는 대체로 1~2%p 차이로 크지 않았습니다. 그러던 것이 계엄 직후 조사에서는 진보성향 응답자가 8~9%p 더 많아졌다가 해를 넘긴 뒤엔 보수성향 응답자가 많게는 9.6%p까지 더 많이 조사에 참여했습니다. 진보성향 응답자가 더 많이 조사에 참여할 땐 더불어민주당 지지율이 오르고 보수성향 응답자가 더 많이 조사에 참여할 땐 반대의 상황이 발생하는 경향성이 보입니다.

조진만 / 덕성여대 정치외교학과 교수 비상계엄이 선포됐을 때는 아마도 진보적인 성향이라든지 아니면 대통령에게 대해서 불만이 있는 층이 좀 더 강한 목소리를 내려는 경향이 있었겠죠. 그런데 이제 또 탄핵소추안 가결되고 그래서 보수가 위기 상황이 되니까 여론조사가 왔을 때 보수 응답자들이 좀 더 적극적으로 응답할 수는 있습니다. 지금은 ‘여론 전쟁’ 비슷하게 됐거든요. 차기 국정운영이라든지 대선 이런 부분들에 있어서 어떤 주도권이라든지 우위를 점하기 위해서는 여론조사에서 어느 정도의 위치를 장악하느냐가 굉장히 중요하다는 인식을 각 진영에서 하게 되는 부분들이 있는 거죠.

그럼 이 결과도 영 못 믿을 내용일까요? 여론조사 전문가들은 그렇지는 않다고 말합니다. 여론조사를 개별적으로 뜯어보고 숫자 하나하나를 해석하려는 것은 지양할 필요가 있지만, 추세적으로는 맞는 것으로 봐야 한다는 겁니다.

김춘석 / 한국리서치 여론조사 총괄부문장 흔히 이야기하는 지금 보수의 일부 과표집 현상이 분명히 있기는 해요. 탄핵과 이전의 계엄 이전에 비해서는 그렇지만 그것만으로 지금 설명할 수 없는 정도의 변화와 지금 정당 지지도 상황이라는 거죠. 그래서 그것은 지금 시점의 여론이라는 관점에서 접근하는 것이 맞다 싶고요. 그 점은 또다시 생각해 보면 앞으로도 예컨대 헌재에서 탄핵에 대한 어떤 결과가 나오거나 그다음에 또 이제 대선 국면으로 접어들거나 이러면 변화될 소지는 또 분명히 있다 이렇게 봐야 할 것 같습니다.

구본상/ 충북대 정치외교학과 교수 전반적인 추세를 보고 또 전체적인 조사들이 이제 전반적인 추세를 다 보게 되면 큰 추세는 이제 예를 들어서 틀리지는 않을 겁니다. 그러니까 민심이 어느 정도 반영이 돼 있을 거라고 보고 예를 들면 탄핵 찬성이었다가 탄핵 반대 여론이 증가하고 이런 거를 부정하기는 어려운 것 같습니다.

■ 조사 방법의 차이? 전화면접조사 vs ARS조사

여론조사를 구성하는 다양한 요소 가운데 가장 큰 차이를 보이는 것은 조사 방법입니다. 전화면접조사는 전화 면접원이 전화를 걸어 설문 문항을 하나씩 읽어주고 답변을 받아 컴퓨터에 기입을 하는 방식이고, ARS는 사람이 아닌 기계음이 설문 문항을 읽어주면 전화를 받은 응답자가 보기를 듣고 키패드를 직접 누르는 방식으로 조사에 응합니다.

각각의 장단점은 대조적입니다. 전화면접조사의 장점은 ARS의 단점이고, ARS의 장점은 전화면접조사의 단점인 편입니다.

ARS조사에 정치에 관심이 많은 사람들 응답이 더 많이 잡힌다는 점은 단점으로 작용하기도, 장점으로 작용하기도 합니다. ARS 조사기관들은 정치선거여론조사가 선거 결과를 가늠하는 도구라는 점을 들어 어차피 투표장에 나가서 적극적으로 투표할 사람들의 여론을 파악하는 데에는 ARS 조사가 더 적합하다고 주장합니다.

이택수/ 리얼미터 대표이사 실제 여론조사가 선거 결과랑 잘 맞으면 저는 그게 과학적이고 신뢰도가 높다고 보는데요. 실제 선거 결과랑 가까운 것들이 ARS 조사가 훨씬 더 가까웠습니다. 전화 면접 조사도 투표 의향을 물어봐서 투표할 사람들한테만 해야 해요. 어차피 대선 투표율을 제외하면 총선도 투표율이 얼마 안 되잖아요. 한 절반 정도밖에 안 되는데, 투표 안 할 사람들을 여론조사에서 발표하는 건 의미가 없고 오히려 국민들을 혼란스럽게 만드는 거라고 보거든요.

ARS는 익명성이 보장되기 때문에 '숨은 표심' 이른바 '샤이'를 표집하는 데 효과가 있다는 주장도 있습니다. 미국에서도 특정 주 단위의 조사에서 이런 ARS조사의 장점이 발휘된 적이 있습니다.

구본상 / 충북대 정치외교학과 교수 미국은 전국 단위 조사에서 IVR(자동응답시스템)을 못 하게 돼 있는데, 왜냐하면 이게 상당히 문제가 있다는 거를 인지하고 있기 때문에 그래요. 근데 그럼에도 불구하고 그거를 하고 약간의 성공을 거뒀던 건, 주 단위에서 특히 스윙 스테이트(경합주) 같은 데 있잖아요. 거기서 조사할 때 ‘샤이’(숨은 표심)가 있는 경우 ‘샤이’들이 사람한테는 말할 때 부끄러운데 기계에게는 말하기가 되게 편한 거죠. 그랬기 때문에 숨은 표심을 조금 더 잘 잡아낸 경우들이 있었다라는 거죠.

■ 낮은 응답률을 높이려면

하지만 몇 가지 장점에도 불구하고 통계 이론적으로 ARS조사에게 매우 낮은 응답률은 신뢰도 측면에서 매우 취약한 점입니다.

ARS조사는, 비상계엄 사태 이후 정치적 민감도가 높아진 요즘에는 5~10%를 넘나들고 있지만, 그 이전만 하더라도 2~3% 수준에 머물러 있었습니다. 반면 전화면접조사는 최근엔 15~20%를 넘나들고 있고 계엄 이전에도 10% 초반대는 유지했습니다.

문제는 우리가 쓰는 응답률이 엄밀한 의미에서 응답률이 아니라는 데 있습니다. 미국 여론조사협회(AAPOR) 등에서 계산하는 소위 '국제 기준'의 응답률과 우리가 사용하는 응답률이 다르다는 얘기입니다.

우리나라에서 응답률을 응답완료자 수와 접촉을 했지만 응답을 거부한 사람들의 수, 그리고 응답 중간에 이탈한 사람들 수를 합해 분모로 두고 계산합니다. 하지만 미국에선 응답률을 계산할 때 아예 접촉하지 못하거나 접촉에 실패한 사람들까지 분모에 포함해 응답률을 계산합니다. 우리가 쓰는 응답률을 미국에서는 ‘협조율’이라고 지칭합니다. 엄밀한 의미에서의 협조율을 응답률이라고 부르면서 마치 응답률이 실제보다 높아 보이는 착시효과까지 있었던 것입니다.

여심위는 여론조사를 공표할 때 응답률과 접촉률을 함께 표기하도록 해 국제 기준의 응답률을 누구나 계산할 수 있도록 하고 있지만, 사실 이런 방식보다는 명확한 개념 정리를 해 주는 게 필요해 보입니다.

김영원 / 숙명여대 통계학과 명예교수 (전 여심위원장) 수치로 보면 우리 응답률은 높아 보이죠. 왜냐하면 접촉률을 안 곱했으니까. 그러니까 여기서 접촉률이 보통 지금 보면 한 30% 정도 되니까. 예를 들어 응답률이 면접 조사 같은 경우 아주 열심히 하면 한 20% 정도 나오거든요? 그럼 그냥 응답률로 하면 20%지만 미국의 응답률 개념으로 계산을 하면 거기에다가 0.3을 곱해야 하니까 한 6% 정도 나오는 거죠. 그런데 ARS 같은 거는 많이 떨어지죠. 곱해서 계산을 하면 1% 나올까 말까 하거든요. 사실은 미국 같으면 잘 보도를 안 하는 수준의 여론조사다 이렇게 볼 수가 있는 거죠.

■ ARS조사가 67% … 많은 이유는?

공표되는 정치선거 여론조사의 60% 이상은 ARS조사입니다. 계엄 사태 이후 2월 20일까지 여심위에 등록된 전국 단위 정치여론조사 140건 중 ARS조사는 93건으로 67%를 차지했습니다.

ARS조사가 많이 나오는 이유는 무엇보다도 비용이 저렴하기 때문입니다. 전화면접조사는 면접원 인건비나 가상번호 구매비용 등이 들어가 한 번 수행하는데 1500여만 원이 들어가는 반면, ARS조사는 300~400만 원이면 하루 이틀의 짧은 시간 안에 표본 1,000명의 여론조사 결과를 도출해 낼 수 있습니다.

저렴한 조사 비용 덕분에 초기 자본이 많이 필요하지 않아 영세한 신생 여론조사 기관들이 뛰어들 수 있고, 의뢰하는 언론사도 큰 부담 없이 조사를 맡길 수 있는 구조가 마련됐습니다. 값싸고 빠른 여론조사를 요구하는 분위기 속에 정확하고 품질 좋은 조사를 위한 경쟁은 자리를 잡기 힘듭니다.

김봉신/ 메타보이스 부대표 저희도 ARS를 안 할 수 없는 경우가 가끔 있습니다. 예산이 너무 적은 경우, 이런 경우에는 진짜 하지 않을 수가 없죠. 중앙 언론사에게는 ARS보다는 전화 면접을 해야 한다고 먼저 말씀을 드리고요. 단가가 너무 차이가 나죠. ¼, ⅕ 차이가 납니다. 그러니 의뢰자 입장에서는 “품질이 낮더라도 ARS를 선택하겠습니다”라고 하는 고객들이 있겠죠. 당연합니다. 이런 점 저런 점을 다 따지자면, 대한민국은 여론조사에 있어서 저품질을 추천하고 강요하는 사회가 돼버렸다는 겁니다.

■ "여론조사는 여론조사일 뿐"

저비용 구조 속에서 싸고 빠른 ARS조사가 다수가 된 것이 현재 우리나라 정치여론조사의 상황입니다. 그렇다면 이런 한계를 감안해 이 여론조사들을 분석하고 제한적으로 활용해야 하는데 그렇지도 못합니다.

우선 언론의 여론조사 인용 보도의 문제입니다. 공표된 여론조사 가운데 믿을만한 조사들을 선별해 조심스럽게 언론 이용자들에게 소개해야 하지만, 적지 않은 언론사들이 자극적인 헤드라인을 걸고 지나치게 의미를 부여해 보도해 왔습니다. 정확성이 확보되지 않은 여론조사가 언론을 통해 확대 재생산되고 그것이 여론 시장을 다시 오염시키는 상황이 되풀이되는 것입니다.

김영원/ 숙명여대 통계학과 명예교수 (전 여심위원장) 같은 기관에서 같은 시점에 같은 방법으로 조사를 해도 결과는 달라요. 충분히 2~3% 차이가 난다고요. 그런 실험을 해보시면 2~3% 나는 걸 확인을 하실 수가 있어요. 그러니까 예를 들어서 어떤 조사에서 2~3% 정도 왔다 갔다, 누구 어떤 후보에 대한 지지율이 어떻게 됐다 이런 거는 사실은 그 차이가 별 의미가 없다는 거죠. 지난주에 비해서 한 1% 올랐다 그랬을 때 이거 뭐 이 a라는 정당이 지지율이 상승했다 이렇게 자극적으로 얘기하시면 곤란하다.

정확성이 떨어지는 여론조사를 지나치게 오용하는 또다른 곳은 정치권입니다. 여론조사의 목적은 여론의 흐름을 읽도록 하는 것일 뿐인데 각종 중요한 정치적 결정에 신뢰도가 부족한 여론조사를 활용해 왔습니다. 후보자 공천이나 단일화와 같은 결정에 여론조사를 활용하다 보니, 여론조사가 필요 이상으로 중요한 정치적 이벤트가 되어 버린 겁니다.

조진만 / 덕성여대 정치외교학과 교수 좋은 그냥 민주주의에 있어서 여론 그러니까 민심을 파악할 수 있는 좋은 참고 자료라는 인식이 있어야 하는데 문제는 그게 아니라 여론조사를 통해서 여론의 수치를 통해서 정치적인 우위를 가지려고 그러고 그다음에 그 정치적 우위를 활용해서 더 큰 정치적 이득을 얻으려는 이런 문제들이 생기는 사실은 악순환 같은 구조죠.

구본상 / 충북대 정치외교학과 교수 사실 우리는 여론조사에 되게 많은 걸 부여하고 있습니다. 가장 큰 사례가 공천에도 반영합니다. (미국 같은 곳에는) 사실 이런 거 없거든요. 여론조사라고 하는 것은 사람들의 어떤 정치적인 적극적인 의사라든지 이런 거는 아니거든요. 그럼에도 불구하고 여전히 한국에서는 최종적으로 여론조사를 반영합니다. 양당이 공히. 아마 당내에서 뭔가를 선정하고 그럴 때는 굉장히 불법적인 것들이 들어갈 가능성이 상당히 큽니다.

여론조사의 결과가 실제 선거와 얼마나 잘 맞느냐를 따져보는 것이 위험한 접근이라는 주장도 있습니다. 여론조사는 투표장에 나가지 않는 정치 저관여층의 의견까지 포함해 전체 국민의 생각을 확인하는 것이기 때문에 선거 결과와 견주어 보는 것은 마찬가지로 여론조사를 오용하고 있는 것이라는 지적입니다.

김봉신 / 메타보이스 부대표 저희가 예측 조사를 하지 않습니까? 어떤 여론조사 결과를 가지고 투표를 예측한다라고 했을 때 여론조사 결과에 웨이팅(weighting, 가중값)을 다시 주거나 아니면 투표를 하겠다라는 투표 적극성을 가진 사람들만으로 다시 분석을 하거나 여러 가지 분석을 다시 해서 그 결과를 놓고 예측하는 것이지, 언론에 공표된 내용 그것 그대로 예측하는 게 아닙니다. 왜냐, 이거는 여론조사니까 투표 결과는 또 다르니까.

■ 한계를 마주한 전화여론조사

최근에는 전화를 통한 여론조사가 점차 한계를 보이고 있습니다. 가령 가상번호의 경우, 통신 3사의 가입 정보를 바탕으로 일정 정도 성별, 연령별, 지역별 표본 추출이 가능해 획기적인 추출 틀로 각광을 받아 왔지만, 알뜰폰 이용자가 늘어나고 있고 여론조사 번호의 착신을 거부할 수 있는 옵션이 활용되면서 대표성 있는 표본 표집이 점점 더 어려워지고 있습니다.

사람들이 여론조사 전화를 잘 받지 않는다는 점도 위기감을 불러옵니다. 특히 20대 젊은 층, 그리고 여성은 낯선 번호에 선뜻 반응하지 않습니다. 그래서 20대와 여성은 대부분의 여론조사에서 정해진 모집단을 다 채우기 까다로워졌고, 지속적으로 가중값 부여에 의존해야 하다 보니 해당 계층 응답의 신뢰도도 높일 수가 없습니다.

김영원/ 숙명여대 통계학과 명예교수 사실은 20대 여성 같으면 핸드폰에 자기가 모르는 번호가 뜨면 안 받거든요. 그것도 유선번호가 뜨는 거거든요. 사실은 그렇기 때문에 웬만하면 안 받기 때문에 조사하기가 진짜 어려워요. 그런 상황에서 조사에 적극적으로 응답하는 20대 여성은 사실 평범한 사람들이 아닐 가능성이 굉장히 높아요. 그러니까 그거로 20대 여성을 대표해야 되니까 사실은 신뢰성이 많이 떨어질 수가 있는 거죠.

조진만 / 덕성여대 정치외교학과 교수 여론조사도 번호를 등록해서 수신 거부를 해놓고 안 오게 하는 분들이 있잖아요. 전화번호도 자주 바꾸는 상황이고. 그래서 오히려 개인 전화로 하는 조사 환경이 옛날보다 굉장히 안 좋아지고 있어요. 개인 전화가 집 전화보다 응답을 더 잘 안 하고. 그러다 보니 지금은 여론조사에 참여하는 것 자체에 편향성이 있는 것 같아요.

ARS도 그렇지만 전화면접조사의 응답률도 그동안 지속적으로 줄어 왔습니다. 2016년까지 보편적이었던 유선전화 여론조사가 한계에 봉착해 점차 무선전화 조사 중심으로 패러다임을 바꿨듯, 이제 전화 중심에서 벗어나 여론조사 환경을 한 단계 더 발전시켜야 할 때라는 이야기가 나옵니다.

구본상 / 충북대 정치외교학과 교수 전화 여론조사에만 기반을 둬서 가는 거는 한계가 있다. 어쨌든 그 해결책이라고 하는 거는 온라인 조사 형태가 어떤 식으로든 보완이 되는 방법밖에 없을 것 같습니다. 나이가 드신 분들은 여전히 또 전화조사에 잘 응대하니까 아예 소용이 없다는 건 아니고, 전화 여론조사만으로 하는 것보다는 청년층을 잡기 위해서는 온라인 조사 방식을 좀 혼용한다 이런 방식으로 아마 가야 되지 않을까.

■저비용 구조를 넘어, 신뢰를 높이려면

여론조사의 정확성과 신뢰도를 높이려면, 기존 방식을 벗어난 다양한 시도가 필요합니다. 대표성이 확보된 패널구축 웹 조사나 문자 발송을 통한 모바일 조사 등을 더 활성화하는 것이 대안으로 꼽힙니다. 응답자에게 소정의 사례비를 지급해 응답률을 높여야 한다는 제안도 나옵니다. 여기에는 지금의 전화조사보다 비용이 발생합니다. 당연한 얘기지만 싸면서 질 좋은 것은 없습니다.

그러자면 양질의 믿을만한 여론조사를 위한 투자와 노력이 저렴한 여론조사보다 더 주목받고 인정받는 환경도 조성돼야 합니다. 여론조사를 누가 이기고 지는지 확인하는 도구가 아니라, 정치로 하여금 국민이 무엇을 원하는지 알게 하는 보완 장치가 되도록 해야 합니다.

이택수/ 리얼미터 대표이사 일부 조사 회사들의 좀 그런 튀는 결과들 때문에 전반적으로 같이 도매금으로 이렇게 비판을 받게 되는데 미국처럼 아예 등급제를 하든지, 어느 회사는 A등급 B등급 이렇게 매기면 신뢰도가 높은 조사 기관의 결과들 중심으로 보면 되는 것이거든요.

구본상/ 충북대 정치외교학과 교수 ‘아 이 회사는 되게 신뢰할 만해’ ‘이 회사가 하는 결과에 대해서는 우리가 그래도 어느 정도 신뢰를 주는 것이 필요해’ 하는 것들을 형성해 갈 수 있도록 환경을 좀 만들어줘야 하는데 지금은 그런 동기 부여가 전혀 없다라는 거죠. 그러니까 잘할 수 있는 기관들도 최저 기준만 맞추고 있는 형태로 가고 있으니까, 국민들이 봤을 때는 어쨌든 이게 맞는 것 같기도 하고 얘는 좀 신뢰를 조금 하려고 그랬는데 또 아닌 것 같기도 하고 막 이렇게 되는 거죠.

#정치여론조사 #신뢰도 #중앙선거여론조사심의위원회 #여심위 #정치 #선거 #응답률 #응답자 구성 #선거

취재: 이광열
촬영감독: 조선기
촬영기자: 오광택
편집: 최정연
그래픽: 장수현
리서처: 한혜민 권현서
조연출: 유화영 심은별