수상한 여론조사···응답자 절반이 文투표층이었다
#1. 지난달 17일 여론조사업체 리얼미터가 조국 법무부 장관 사퇴(14일) 이후 처음으로 대통령 지지율 조사 결과를 발표했다. 이에 따르면 문재인 대통령의 국정 지지율은 전주보다 4.1%포인트나 오른 45.5%였고, 부정 평가는 4.5%포인트 내린 51.6%였다. 리얼미터 측은 “조 장관 사퇴 이후 상당히 탄력적인 지지율 회복세를 보이고 있다”고 분석했다.
그런데 하루 뒤인 18일 나온 한국갤럽 조사는 정반대였다. 한국갤럽은 문 대통령의 국정 지지율이 전주보다 4%포인트 하락한 39%라는 집계를 내놨다. 부정평가도 53%로 전주보다 2% 늘었다. 완전히 거꾸로 간 두 조사를 놓고 정치권에선 “도대체 어떤 여론이 맞는 거냐”는 아우성이 나왔다.
#2. 지난 8월 한 방송사 간부 A씨는 대형 여론조사업체로부터 대통령 국정 지지 여부를 묻는 전화를 받았다. 조사원은 설문 조사를 마친 뒤 “다음 조사 때 선생님께 또 전화해도 되겠느냐”고 물었다. A씨가 “여론조사는 무작위가 원칙인데, 응답자를 미리 정해서 전화하는 건 잘못된 것 아니냐”고 따지자, 조사원은 “여론조작을 하겠다는 의도는 아니다”라고 해명했다. A씨는 “조사업체들이 말로는 무작위 조사라고는 하지만, 실제로는 ‘영업비밀’이라는 방패막이 뒤에 숨어 자체적으로 확보한 응답자 표본을 활용하는 건 아닌지 의심이 든다”고 말했다.
여론조사는 한국 사회를 움직이는 ‘큰 손’이다. 청와대의 국정운영 방향, 정당 공천자 결정, 야당의 대여투쟁 기조, 국책과제 추진 여부 등 주요 이슈마다 여론조사가 영향을 미치지 않는 경우가 거의 없다. 그러나 여론조사가 민심을 제대로 반영하고 있냐는 불만이 점점 커지고 있다. 객관성과 신뢰도가 확보되지 않은 여론조사가 남발되면서 온라인에선 ‘여론조사 무용론’마저 나온다.
여론조사를 둘러싼 논란 중 대표적인 것이 문 대통령 투표층의 ‘과대 표집’(특정 집단의 여론이 실제보다 부풀려 수집) 현상이다. 지난 5월 2일 문 대통령 취임 2주년을 맞아 한국리서치가 발표한 여론조사(전화 면접)에 따르면 문 대통령의 국정 운영에 대한 긍정평가는 51.6%, 부정 평가는 44.6%(모름 및 무응답 3.7%)였다. 그런데 응답자 중 2017년 대선에서 문 대통령을 뽑았다는 응답자는 전체 응답자 1000명 중 537명(53.7%)이었다. 하지만 실제로 2017년 대선에서 전체 유권자(기권자 포함) 대비 문 대통령의 득표율은 31.6%(4247만9710명 중 1342만3800표)였다. 전체 유권자 표본을 반영한다면 응답자 1000명 중 문 대통령을 뽑았다는 응답자는 316명 언저리가 나오는 게 맞지만, 이 조사에서는 537명으로 크게 불어난 것이다. 반면 지난 대선에서 홍준표 후보의 전체 유권자 대비 득표율은 18.5%였는데, 이 조사에선 홍 후보를 뽑았다는 응답자는 10.8%에 불과했다. 문 대통령을 지지한 사람은 실제보다 더 많이, 지지하지 않는 사람은 실제보다 적게 여론조사에 참여한 셈이다.
이런 현상은 다른 조사에서도 반복적으로 나타났다. 가령 리얼미터가 5월 16일 발표한 정례 여론조사(ARSㆍ전화면접 병행)에서 문 대통령의 국정운영 긍정평가는 48.9%(부정평가 45.8%) 였는데, 응답자 중 지난 대선에서 문 대통령을 찍었다는 비율은 53.3%였다. 칸타코리아의 9월 조사(전화면접)에서도 전체 응답자 중 문 대통령을 뽑았다는 응답자는 49.2%로, 실제 문 대통령의 전체 유권자 대비 득표율보다 17.6%포인트 높았다.
흥미로운 건 과거 정부에서도 이런 현상이 반복됐다는 점이다. 2012년 대선에서 박근혜 전 대통령의 전체 유권자 대비 득표율은 39.0%였고, 문재인 후보의 득표율은 36.3%였다. 그런데 2014년 5월 디오피니언의 여론조사(전화면접ㆍ인터넷 조사)에서 응답자 중 박 전 대통령을 뽑았다고 대답한 비율은 46.6%로 실제보다 7.6%포인트 높았다. 마크로밀엠브레인의 2015년 10월 조사(전화면접)에선 박 전 대통령의 국정운영 지지율은 54.5%로 준수한 편이었는데, 응답자의 56.2%가 지난 대선에서 박 전 대통령을 뽑았다고 답한 것으로 나타났다.
이처럼 여론조사에서 현직 대통령 지지층의 목소리가 과다 반영되는 데 대해 전문가들의 해석도 다양하다. 이용구 중앙대 명예교수는 “우리나라는 역사적으로 야당보다는 정부나 여권 지지자들이 더 적극적으로 응답하는 성향이 있다”며 “특정 정치인이나 정당을 지켜야 한다는 인식이 적극적인 응답으로 이어졌을 가능성이 있다”고 말했다. 이준웅 서울대 언론정보학과 교수는 “현재 정권을 잡고 이를 사수해야 하는 세력의 지지층은 여론조사 응답도 대통령을 도와주는 ‘정치적 행위’로 인식하는 경우가 있다”며 “반면 정부에 부정적인 사람들은 여론조사를 회피하거나 소극적인 편”이라고 말했다. 칸타코리아 이양훈 이사는 “현직 대통령을 찍었다고 응답하는 비율이 높은 건 실제 선거에선 다른 후보를 뽑고도, 승리한 쪽을 찍었다고 응답하는 응답자들의 경향이 일부 반영됐을 가능성이 있다”고 말했다.
중앙선거여론조사심의위원회(여심위)의 ‘선거여론조사 기준’에 따르면 여론조사는 성별, 연령, 지역별 구성 비율을 실제 전체 유권자의 인구비례에 맞춰야 한다. 조사 과정에서 여성이 남성보다 적게 응답하면 실제 성비에 맞게 가중치를 부여해 성비를 보정하는 방식이다. 하지만 대선 득표율에 따라 결과를 보정하는 여론조사는 드물다. 허명회 고려대 통계학과 교수는 “응답자의 정치 성향을 고려하지 않은 조사는 왜곡된 결과로 이어질 수 있다”고 지적했다.
응답자의 성별 편중 문제도 논란이 되는 경우가 있다. 박완수 자유한국당 의원실에 따르면 리얼미터의 최근 5개 조사(10월 8일 기준)에서 응답자 중 남성의 비율이 약 65.0%로 여성에 비해 압도적으로 많았다. 나중에 실제 성별 비율에 맞게 가중치를 곱하긴 하지만, 응답자 자체에 성별 편차가 큰 건 조사 신뢰도에 영향을 줄 수 있다는 게 여론조사 전문가들의 지적이다. 다른 업체 조사에선 보통 44~55%의 성비를 보이는 게 일반적이다. 리얼미터와 마찬가지로 ARS조사를 하는 리서치뷰의 조사에서도 남성응답자 비율은 평균 53.7%였다. 박 의원실 관계자는 “리얼미터 측이 자체 확보한 표본을 반복적으로 활용하기 때문에 이런 결과가 나온다는 추정이 가능하다”고 주장했다. 관련 논란에 대해 리얼미터 측은 “언론 인터뷰에 응하지 않는다”며 답변을 거부했다.
.
설문 문항이 특정 답변을 끌어내기 위해 편파적으로 작성됐다는 비판도 제기된다. 리얼미터는 고위공직자범죄수사처(공수처)와 관련한 여론조사 결과를 지난달 21일, 30일 두 차례 발표했다. 21일 조사에선 공수처 설치에 찬성한다는 응답이 51.4%, 반대가 41.2%였다. 그런데 30일 조사에선 찬성이 61.5%로 9일 만에 10.1%포인트나 뛰었다. 반대는 33.7%로 찬성의 절반에 그쳤다. 이인영 더불어민주당 원내대표는 이 조사를 인용, “공수처 설치에 대한 국민적 판단이 끝났다”고 주장했다.
하지만 학계에선 미묘하게 달라진 두 여론조사의 질문 내용이 응답에 영향을 줬을 것이란 지적이 나왔다. 아래는 실제 설문 문항.
#. 최근 ‘고위공직자범죄수사처’ 즉 공수처 법안 제정을 놓고 검찰개혁의 핵심이라는 입장과 대통령 권력 강화책에 불과하다는 입장이 맞서고 있습니다. 선생님께서는 공수처를 설치하는 데 대해 어떻게 생각하십니까? (10일 21일 발표, 찬성 51.4% 반대 41.2%)
#. 선생님께서는 대통령, 국회의원, 판사, 검사 등 고위공직자들의 범죄를 독립적으로 수사하는 고위공직자범죄수사처, 즉 공수처를 설치하는 데 대해 어떻게 생각하십니까? (10일 30일 발표, 찬성 61.5% 반대 33.7%)
두 설문의 차이는 뭘까. 신율 명지대 교수는 “30일 설문은 국회의원 등 수사대상을 열거하는 식으로 공수처의 당위론에 무게를 뒀다. 범죄가 있다면 ‘독립적으로 수사’하는 게 당연하기에 공수처가 긍정적인 것이라는 영향을 받게 된다“며 “반면 21일 설문은 여야의 상반된 주장이 담겨 의견이 갈리는 효과가 있었을 것”이라고 진단했다. 21일 설문보다 30일 설문이 공수처 찬성 여론이 잘 나올 수밖에 없는 셈이다.
익명을 원한 여론조사업체 관계자는 “공수처의 여론 추이를 알려면 질문내용과 보기 순서까지 같아야 한다. 두 여론조사는 전혀 다른 질문이 담겨 여론의 추이를 확인하기 힘들다”고 비판했다.
.
비슷한 사례는 또 있다. 리얼미터는 지난 4월 15일, 18일 이미선 당시 헌법재판관 후보자에 대한 여론조사 결과를 잇달아 발표했다. 당시 이 후보자의 수십억 원 대 주식 거래 논란이 불거진 상황이었는데 15일 조사에서는 이 후보자에 대한 부적격 응답이 54.6%, 적격 응답이 28.8%였다. 그런데 18일 조사에서는 갑자기 반대가 44.2%, 찬성이 43.4%로 우호 여론이 급격히 상승했다. 문 대통령은 하루 뒤인 19일 이 후보자의 임명을 강행했다. 급격하게 바뀐 여론 뒤에는 ‘달라진 설문’이 있었다. 두 조사의 설문 문항은 다음과 같다.
#. “최근 이미선 후보자에 대한 국회 인사청문회가 열렸습니다. 선생님께서는 이 후보자의 헌법재판관으로서의 자격에 대해 어떻게 생각하십니까. (4월 15일 발표, 부적격 54.6% 적격 28.8%)
#. “여야 정치권이 이 후보자의 임명을 두고 대립하는 가운데, 문재인 대통령은 이 후보자에 대한 청문보고서를 국회에 다시 요청했습니다. 선생님께서는 문 대통령이 이 후보자를 헌법재판관으로 임명하는 데 대해 어떻게 생각하십니까” (4월 18일 발표, 임명 반대 44.2%, 임명 찬성 43.3%)
이용구 중앙대 명예교수는 “두번째 조사는 설문 문항에 갑자기 문재인 대통령이란 언급이 두 차례나 등장했다”며 “이 후보자 자체에 대한 적격ㆍ부적격 의견을 물은 첫번째 조사와 달리 두번째 조사에선 문 대통령의 지지자들이 우호적인 응답을 했을 가능성이 매우 높다”고 지적했다.
무엇보다 여론조사를 믿을 수 없게 만드는 가장 큰 요인은 조사결과와 실제 투표 결과가 크게 어긋나는 경우가 빈번하다는 점이다. 19대 대선 직전 공표된 여론조사에선 다수의 조사업체가 2ㆍ3위 후보의 순서를 맞추지 못했다. 14건 중 10건(5월 2~3일 발표)이 ‘문재인-안철수-홍준표’ 순으로 지지도가 높다고 발표했지만, 실제 개표 결과 득표율은 ‘문재인(41.1%)-홍준표(24.0%)-안철수(21.4%)’ 순이었다.
지난해 6월 13일 경기지사 선거도 여론조사가 빗나간 대표적 사례다. 한국갤럽은 선거 직전 발표한 여론조사(6월 5일)에서 이재명(60.2%) 민주당 후보가 남경필(18.9%) 한국당 후보를 41.3%포인트 앞선다는 결과를 내놨다. 실제 득표율은 이재명 56.4%, 남경필 35.5%로 격차는 20.9%포인트였다.
올해 4ㆍ3 보궐선거에서도 빗나간 예측은 이어졌다. 선거일 일주일 전 조원씨앤아이는 창원 성산 보선에서 여영국 정의당 후보(49.9%)가 강기윤 자유한국당 후보(25.8%)를 월등히 앞선다고 밝혔다. 하지만 실제 개표함을 열어보니 여 후보(45.75%)와 강 후보(45.21%)의 격차는 0.54%포인트로 초박빙이었다. 여론조사가 ‘숨어있는 야당 지지층’을 전혀 포착하지 못한 것이다.
여론조사의 정확도를 높이기 위해 2017년 2월부터 안심번호가 도입됐지만 성과는 아직 미흡하다. 안심번호는 조사 대상자의 실제 휴대전화 번호가 노출되지 않는 일회용 가상번호인데, 조사업체에서 성별, 연령별, 지역별 번호를 이동통신사에 요청하면 안심번호 형태로 제공 받는 것이다. 하지만 안심번호를 활용한 여론조사도 실제 선거 결과와 어긋나는 사례가 많다. 이준웅 서울대 교수는 “성별, 연령, 지역 등을 정확하게 체크할 수 있는 반면 응답자의 정치성향이나 지지 정당 등 변수가 많아 한계가 있을 수밖에 없다”고 설명했다.
여론조사에 대한 불신이 커지면서 ‘여론조사를 못 믿겠다는 여론조사’까지 등장했다. 한국리서치가 지난 9월 공개한 여론조사에 따르면 ‘선거 시기에 발표되는 여론조사를 얼마나 신뢰하느냐’는 질문에 응답자의 50.2%가 ‘신뢰하지 않는다’고 답했다. ‘신뢰한다’는 응답은 44.7%였다. 같은 업체에서 10월에 조사한 여론조사에서는 응답자의 35.5%가 정치 관련 여론조사에 대해 ‘대체로 정부와 여당에 유리한 조사 방법 같다‘고 답했다. 야당에 유리한 조사라는 응답은 18.2%, 공정한 조사라는 응답은 18.9%였다.
전문가들은 여론조사 관련 데이터를 일반 대중과 전문가들에게 더 세밀하게 공개하고, 조사의 공정성이나 적절성을 수시로 점검할 수 있는 시스템을 갖춰야 한다고 입을 모았다. 이용구 명예교수는 “여론조사가 한국사회를 움직이는 ‘큰손’인데 반해 형식적인 규정 준수 여부를 평가하는 것 외에는 공정성을 모니터링할 기구가 없는 상황”이라며 “여론조사, 통계전문가들로 구성된 심의기구를 만들어 설문 문항의 적절성, 여론조사 과정의 공정성, 데이터의 신뢰성 등을 투명하게 검증해야 한다”고 제안했다.
이준웅 교수는 “현재 공표되는 여론조사 결과에는 응답자의 정치적 성향 등이 제대로 공개되지 않는 경우가 대다수인데, 과대 표집 등 논란을 최소화하기 위해선 응답자의 대선 투표 정보, 지지 정당 및 이념 정보 등을 자세하게 공개해 여론조사를 접하는 시민들이 적절하게 조사결과를 판단할 수 있는 환경을 만들어야 한다”고 지적했다. 류정호 여심위 심의팀장은 “단순히 지지율이나 찬반을 보여주는 차원이 아니라, 왜 그런 결과가 나왔는지 등 설문 결과에 담긴 세밀한 맥락까지 분석할 수 있는 조사 설계가 절실하다”고 했다. 한규섭 서울대 언론정보학과 교수는 “여론조사를 만능이라고 인식하기보다는 여론의 전반적 흐름을 읽을 수 있는 유용한 ‘참고서’ 정도로 인식해야 한다”며 “같은 이슈에 대해 서로 다른 조사결과도 있는 만큼 여론조사의 오차나, 불확실성을 감안하고 여론조사를 읽을 수 있어야 한다”고 조언했다.
[출처: 중앙일보] 수상한 여론조사···응답자 절반이 文투표층이었다
‘文 못한다’…사람이 물으면 46%, 기계가 물으면 64%
“여론조사는 조사하기 나름”이란 시중의 속설을 뒷받침하는 실험 결과가 나와 정치권과 학계의 주목을 끌고 있다. 똑같은 설문이라도 조사방식에 따라 얼마든지 결과가 달라질 수 있다는 것을 보여준 첫 실증 사례다.
유·무선, 전화면접·ARS 따라 결과 달라져
지난 대선·지방선거 때 조사방식 20가지
해외선 50년 전 쓰는 방식으로 표본 모집
ARS 여론조사 신뢰성 논란 끊이지 않아
학계 “여론조사 믿는 것 자체가 난센스”
열악한 조사 환경이 저품질 여론조사 양산
한국통계학회는 최근 중앙선거여론조사심의위원회(이하 여심위)의 의뢰를 받아 동일한 설문으로 조사방식을 바꿔가며 여론조사를 수행하는 실험을 실시했다. 결론부터 말해 결과는 천양지차였다. 실험 결과를 접한 한 통계학과 교수가 “여론조사의 민낯을 드러낸 실험”이라고 말했을 정도다.
학회 연구팀은 2개 여론조사 업체를 선정해 다섯 가지 방식으로 조사(9월30일~10월2일, 각각 500명씩 응답)를 실시했다. 조사원이 직접 전화를 거는 전화면접 조사는 ①‘집전화 RDD + 휴대전화 RDD’와 ②‘집전화 RDD + 휴대전화 가상번호’의 두 가지 방식으로 조사했다. 사람이 아닌 기계음을 듣고 응답을 하는 ARS(자동응답시스템) 조사는 ③‘집전화 RDD’ ④‘휴대전화 가상번호’ ⑤‘집전화 RDD + 휴대전화 RDD’의 세 가지 방식으로 진행됐다.
RDD란 ‘Random Digit Dialing’의 약자로 기계가 생성하는 무작위 번호로 전화 거는 방식을 의미한다. 가상번호(일명 안심번호)는 개인정보 보호를 위해 실제 휴대전화 번호 대신 이동통신사에서 부여한 일회성 번호를 말한다.
.
문재인 대통령의 국정 수행 평가를 묻는 질문에 ‘잘하고 있다’는 응답은 다섯 가지 조사를 합쳐 평균 42.4%가 나왔다. 그런데 ③ARS ‘집전화 RDD’ 조사에서는 ‘잘하고 있다’는 응답이 34.2%에 불과했다. 반면 ④ARS ‘휴대전화 가상번호’ 조사에서는 ‘잘하고 있다’가 48.4%에 달했다. 같은 질문에 14.2%포인트 차이가 난 것이다. ‘잘못하고 있다’는 응답 역시③ARS ‘집전화 RDD’ 조사에선 64.0%가 나왔다. 그러나 ②전화면접 ‘집전화 RDD + 휴대전화 가상번호’ 조사에선 46.2%였다. 무려 17.8%포인트 차이다.
전화면접보다 ARS 조사에서 극단적인 응답이 많았다는 점도 주목된다. 전화면접 조사(①②)에서는 ‘대체로 잘못하고 있다’가 평균 20.8%, ‘매우 잘못하고 있다’가 27.8%였다. 그러나 ARS 조사(③④⑤)에서는 ‘대체로 잘못하고 있다’가 평균 10.5%인 반면, ‘매우 잘못하고 있다’는 46.2%였다.
같은 실험에서 조국 법무부 장관(당시 사퇴 전)의 장관직 수행에 대한 의견 역시 ③ARS ‘집전화 RDD’ 조사에선 ‘사퇴해야’가 60% 넘게 나왔지만, ④ARS ‘휴대전화 가상번호 조사에선 50%에 미치지 않았다.
이 실험은 같은 이슈인데 왜 여론조사 업체마다 결과가 들쭉날쭉한지를 잘 보여준다. 조사를 사람이 하느냐 기계가 하느냐, 유선 전화냐 휴대전화냐, 실제 번호냐 가상번호냐에 따라 전혀 다른 결과가 나올 수 있다는 것이다. 또한 남녀나 연령대에 따라 응답 성향이 다른 것은 물론 가입한 이동통신사에 따라 응답률도 달랐다.
여심위에 따르면, 지난 19대 대선과 지난해 지방선거 때 사용된 여론조사 방식은 20가지나 된다. 이에 대해 익명을 원한 한 국립대 통계학과 교수는 “한국의 여론조사 풍토나 시스템을 고려하면 그 어떤 조사 방식도 정확하다고 말하기 힘들다”고 말했다.
# 유선과 무선, 낮과 밤의 차이
여론조사 업계에는 여러 통설이 있다. ‘유선 전화는 보수 정당, 무선 전화는 진보 정당에 유리하다’ ‘노인층이 많이 받는 낮에는 보수, 젊은 층이 많이 응답하는 밤에는 진보에 유리하다’ ‘ARS는 여성보다는 정치에 관심이 많은 남성이 많이 받는다’ ‘응답자 중 여당 지지자의 응답률이 훨씬 높다’ 등등.
근거 없는 얘기가 아니다. 2017년 대한정치학회는 중앙선관위 의뢰로 19대 대선 당시 여론조사를 분석했다. 관련 보고서에 따르면, 전화면접에 비해 ARS 조사에서 당시 문재인 후보의 지지율이 일관되게 높게 나타났다. 특히 무선 ARS만 활용할 경우, 다른 방식에 비해 문재인 후보의 지지율이 특히 높았다. 또한 유선 전화 비율이 높으면 문재인 후보는 낮게, 홍준표 후보 지지율은 상대적으로 높게 측정됐다.
한 통계학과 교수는 “이런 차이를 모를 리 없는 여론조사 업체가 유무선 전화 비율이나 조사 시간대 등을 특정 의도에 맞출 경우 조작은 아니더라도 의도적인 왜곡으로 볼 수 있다”며 “하지만 현재의 검증 시스템에서는 이를 걸러내기 어렵다”고 지적했다. 류정호 여심위 심의팀장은 “지난 총선 때는 ‘원하는 결과를 맞춰줍니다’라고 홍보한 업체까지 있었다”며 “원하는 대로 (경선) 지지율이 나오도록 ‘마사지’를 해줄 수 있다는 뜻”이라고 말했다.
# “허수아비에 대고 여론조사 하는 격”
국내 여론조사 업체는 비용절감을 위해 표본을 만들 때 대부분 ‘할당 추출’ 방식을 쓴다. 예를 들어 8개 권역, 5개 연령대, 남녀로 구분하면 총 80개(8x5x2) 분류(셀)가 생긴다. 여기에 인구 통계에 비례해 응답을 받을 목표 숫자를 할당한다. 그리고 전화나 ARS 조사로 각 구간의 할당을 채울 때까지 응답자와 접촉을 한다.
이런 방식은 여론조사 선진국인 미국에서는 거의 쓰지 않는다. 표본의 대표성을 확보하기 어렵다는 이유에서다. 한 통계학과 교수는 “할당 표본 추출법은 미국 등지에서는 정확성이 떨어진다는 이유로 이미 1950년대부터 시장에서 퇴출됐고 확률 추출법으로 넘어갔다”며 “그러나 한국은 여전히 할당 추출법이 여론조사의 대세를 이룬다”고 말했다. 그는 “할당 추출 방식으로 모은 표본이 모집단을 정확히 반영하지 못하고 표본이 편향적으로 선정될 수 있다는 것은 통계학 교과서에도 나온다”며 “싸고 빠르게 표본을 모을 수 있다는 이유로 이런 방식을 쓰는 것은 허수아비에 대고 조사를 하는 것과 마찬가지”라고 비판했다.
# 짧은 조사 기간과 낮은 응답률
조사 기간이 길수록 더 정확한 결과가 나온다는 건 상식이다. 하지만 한국의 여론조사는 시간에 쫓긴 날림 조사가 많다.
중앙일보가 여심위에 등록된 최근(10월 29일 기준) 여론조사 100건의 조사 기간을 분석했더니, 82건이 3일 이내에 조사를 끝냈다. 2일 조사가 46건으로 가장 많았다. 5일 이상은 9건에 불과했다. 당일치기 조사도 4건 있었다. 심지어 한 조사업체는 1000명을 상대로 조사하면서 오전 11시부터 오후 2시까지 단 3시간만 조사한 것으로 나타났다. 한 대형 여론조사 업체 관계자는 “외국에선 보통 4~5일씩 조사를 하는데 우리는 그렇게 하고 싶어도 비용 때문에 할 수 없는 환경”이라고 말했다.
응답률도 형편없다. 중앙일보가 여심위에 등록된 최근 전국 단위 선거 관련 여론조사 100건을 조사했더니 평균 응답률은 8.9%였다. 전체 응답률이 5%에도 미치지 못하는 조사가 28건이었다. 전화면접 조사가 ARS보다 응답률이 높았다. 무선 전화면접의 평균 응답률은 평균 18.6%, 유선 전화면접은 11.4%였다. 하지만 유선 ARS 조사의 응답률은 평균 3.4%, 무선 ARS는 6.1%에 그쳤다. 특히 전체 응답률이 10%를 넘는 34건 중 ARS를 활용한 조사는 단 2건에 불과했다.
한 대형 조사업체 임원은 “낮은 응답률은 리서치 업계의 고질적인 문제”라며 “응답을 거절하더라도 수차례 콜백(재접촉)을 통해 응답을 유도해야 하는데 조사 비용과 시간 때문에 그러지 못한다”고 털어놨다.
.낮은 응답률은 조사 결과를 왜곡할 수 있다. 애초 표본에 있던 A가 응답을 거절해 B로 대체됐는데, B가 특정 정치 성향을 갖고 여론조사에도 적극적이라면 조사 결과가 왜곡될 수 있기 때문이다. 류정호 팀장은 “응답률이 떨어지는 것은 대표성 차원에서 우려할 만한 일”이라며 “하지만 이를 보완할 수 있는 방법과 연구가 부족하다”고 말했다. 이와 관련 국회에는 응답률이 5% 미만인 선거 여론조사는 공표·보도를 금지하는 법안(오신환 바른미래당 의원)이 계류 중이다.
# 허술한 검증 시스템…여론조작의 유혹
온라인에는 여론조사업체의 ‘조작설’이 그럴듯하게 유포돼 있다. 과연 그럴까. 익명을 원한 한 대형 여론조사업체의 고위관계자는 “이론상 내부에서 대표와 팀장급들만 공모하면 아무도 모르게 얼마든지 조작이 가능하다”며 “하지만 걸리면 회사가 망하는 것을 뻔히 아는데 조작할 엄두를 내겠느냐”고 말했다. 다른 업체 조사팀장은 “간혹 특정 목적에 맞게 여론조사를 설계해 달라는 의뢰인이 있지만 100% 거절한다”며 “조작 의심을 받는 것과 실제 조작을 하다가 걸리는 것은 차원이 다른 문제이기 때문”이라고 말했다.
그렇다면 특정 업체가 조작할 범죄 유인이 생겨 실제 실행한 경우 검증할 수는 있을까. 한 업체 조사팀장은 “내부 폭로나 제보가 없다면 사실상 불가능하다”며 “검증 시스템이 없다고 보면 된다”고 말했다. 그의 설명은 이렇다.
“여론조사업계는 서로 검증하지 않는다는 불문율이 있다. 터무니없는 조사 결과가 나와도 ‘그러려니’ 한다. 검증할 여력도 없지만 의심이 가더라도 서로 쉬쉬한다. 여심위가 검증 능력이 없다는 것도 업계 사람들은 다 안다. 무엇보다 실제 조작이 드러날 경우 업계 전체가 공멸할 수 있다는 우려가 깔렸다.”
그러면서도 그는 “정해진 예산(비용)에 맞춰 가능한 빨리 조사를 맞춰야 하므로 일부 중소업체는 적은 표본을 부풀리는 속칭 ‘소다치기’를 하거나 조사가 끝나고 데이터 마사지를 하는 경우도 있다고 들었다”고 했다.
.
실제로 여론조사업계 종사자인 김봉신씨가 지난해 출간한『서베이 조사의 민낯』에 따르면, 설문지 작성부터 조사 모든 과정에서 왜곡·조작할 여지는 많다. 조사 결과가 좋지 않을 것으로 예상되는 대상을 여론조사 설계에서 애초에 배제(모집단 제한)하거나, 표본 설계에는 포함하지만 실제 접촉할 리스트에서 삭제(표본 추출 제한)하는 방식이다. 또한 모집단 구성 비례에 따르지 않고 유의 할당을 적용(추출 방법 왜곡)하고, 조사 대상 집단을 조사 후에 변경해 불리한 결과를 삭제(조사 설계 사후 변경)하는 방법도 있다. 설문지에서 선택항을 일부러 없애거나, 질문 문구에 특정 정보를 편향되게 제시하고, 질문을 어렵게 해서 아예 응답을 못 하게 하기도 한다. 김씨는 “갑(의뢰자)이 부당한 결과를 요구할 경우 을(조사업체)은 이를 거부하기 힘들다”고 말했다.
# 10곳 중 8곳은 분석 전문인력 3명 이하
“한국과 같은 여론조사 인프라와 시장 환경에서 고품질의 조사를 기대하기는 어렵다.”(이용구 중앙대 명예교수)
여론조사 업계와 관련 학계가 한결같이 고개를 끄덕이는 대목이다. 우선 턱없이 낮은 조사 비용이 문제다. 낮은 조사 비용은 충분한 표본을 확보하거나 응답률을 높이기 위한 재접촉 시도를 막는 걸림돌이다. 최대한 빨리 끝내야 그나마 이윤을 남길 수 있기 때문이다. 한 여론조사업체 관계자는 “인건비는 계속 증가하는데 조사 단가는 10년 전과 달라진 게 없다”며 “상위권 업체도 영업이익률이 5%가 되지 않는 곳이 허다하다”고 말했다. 그는 “ARS 조사가 급증하는 것도 저렴한 조사 비용이 근본적인 원인”이라며 “ARS 조사는 200만~300만원으로도 1000명짜리 조사를 뚝딱 할 수 있다”고 덧붙였다.
저단가·저품질 조사의 난립은 악순환을 낳는다. 이윤이 박한 시장에서 여론조사업체는 기술 등 인프라 투자는커녕 전문인력을 확보하는 데도 애를 먹는다. 여심위에 등록된 79개 여론조사 업체 중 분석 전문인력이 3명 이하인 곳이 77.2%(61곳)다. 전문가를 7명 이상 보유한 업체는 7곳에 불과하다.
업계에선 공정성·신뢰도를 확보한 고품질 여론조사를 위해선 ‘단가 조정’이 불가피하다는 입장이다. 전화면접조사 기준 표본 한 명당 1만5000~2만원이 업계가 요구하는 적정 비용이다. 이양훈 칸타코리아 이사는 “의뢰인인 정당이나 언론사가 저렴한 여론조사를 원하는 현상과 군소 업체가 저품질 여론조사를 양산하는 악순환이 반복돼 여론조사 생태계 자체가 망가지고 있다”고 말했다.
선진적 여론조사 기법을 개발·도입하기 위한 선행연구와 실험이 부족한 것도 문제다. 여심위는 조사 전문 인력이 5명에 불과해 세밀한 조사 사후검증은 엄두도 못 내는 실정이다. 경범훈 여심위 사무국장은 “응답률은 점차 낮아지고 조사환경은 나빠지는데 이를 보완할 연구실험이 놀라울 정도로 부족한 상황”이라며 “국가 차원에서 과학적인 연구방법과 기반을 구축하며 동시에 여론조사 연구를 위한 전문인력을 키워야 한다”고 말했다.
탐사보도팀=김태윤·최현주·현일훈·손국희·정진우·문현경 기자 pin21@joongang.co.kr
[출처: 중앙일보] ‘文 못한다’…사람이 물으면 46%, 기계가 물으면 64%