여론조사 기사, 숫자보다 먼저 봐야 할 것들

숫자 하나만 보면 생기는 착시

"A 후보 40%, B 후보 37%"라는 기사를 보면 A가 앞선 것처럼 보입니다. 그런데 이 조사의 오차범위가 ±3.1%포인트라면, 실제 지지율은 A가 36.9~43.1%, B가 33.9~40.1% 사이 어딘가라는 뜻입니다. 두 구간이 겹치기 때문에 통계적으로는 누가 앞선다고 말할 수 없는 상태입니다. 이런 경우를 '오차범위 내 접전'이라고 부릅니다.

여론조사는 전체 유권자가 아니라 보통 1,000명 안팎의 표본을 조사해 전체를 추정하는 방식이라서, 이 불확실성은 조사의 결함이 아니라 표본조사의 본질적인 성질입니다.

기사에서 확인할 다섯 가지

여론조사 결과를 인용하는 기사에는 조사 개요가 함께 표기됩니다. 보통 기사 하단에 작은 글씨로 있는데, 사실 이 부분이 본문만큼 중요합니다.

• 조사 기관 — 어디서 조사했는지. 기관마다 조사 방식과 표본 구성 방법이 다릅니다.
• 조사 기간 — 언제 물었는지. 큰 사건 직후의 조사는 그 사건의 영향을 크게 받습니다.
• 표본 수와 응답률 — 몇 명에게 물었고 몇 %가 응답했는지.
• 조사 방식 — 전화면접(사람이 직접 질문)인지 ARS(자동응답)인지, 무선·유선 비율은 어떤지.
• 오차범위와 신뢰수준 — 결과 숫자를 어느 정도 폭으로 읽어야 하는지.

조사 방식이 결과를 가르는 이유

같은 주에 실시된 조사인데 기관에 따라 결과가 몇 %포인트씩 다른 경우가 흔합니다. 조작이라서가 아니라, 전화면접과 ARS는 응답하는 사람의 성향 자체가 다르게 모이는 경향이 있기 때문입니다. 사람이 직접 묻는 전화면접에서는 응답을 완곡하게 하는 사람이 있고, ARS는 적극적인 의견을 가진 사람이 끝까지 응답할 확률이 높다는 분석이 일반적입니다.

그래서 여론조사를 볼 때는 서로 다른 기관의 단발 결과를 비교하기보다, 같은 기관이 같은 방식으로 반복한 조사의 흐름(추세)을 보는 편이 안전합니다.

질문 문구도 결과에 영향을 준다

무엇을 묻는지, 어떤 순서로 묻는지도 결과에 영향을 줍니다. 같은 사안이라도 '찬성하십니까'와 '필요하다고 보십니까'는 다른 응답 분포를 만들 수 있습니다. 선거 관련 조사라면 중앙선거여론조사심의위원회 홈페이지에서 실제 질문지 원문을 공개하도록 되어 있어, 기사에 인용된 조사가 실제로 무엇을 물었는지 직접 확인할 수 있습니다.

기사 제목은 조사 결과 중 가장 눈에 띄는 한 조각을 뽑아 쓰는 경우가 많습니다. 제목이 강하게 느껴질수록 원자료를 한번 열어보는 습관이 도움이 됩니다.