사회과학 연구방법론-3 조사방법론

 조사방법론 (Survey Research Methods)

 

[서론] 좋은 질문지는 왜 만들기 어려운가?

• 연구자의 딜레마: 연구자가 묻고 싶은 것(Research Question)과 응답자가 대답할 수 있는 것(Respondent's Capacity) 사이의 간극.
• 측정 오차(Measurement Error): 질문지는 현실을 투명하게 보여주는 창문이 아니라, 굴절시킬 수 있는 렌즈다. 잘못된 질문지는 체계적 오차(Systematic Error)의 주범이다.

---

[모듈 1] 개념의 조작화와 질문의 해부

목표: 추상적인 연구 가설을 구체적인 질문 문항으로 변환하는 구조적 과정을 이해한다.

1. 개념화에서 조작화로 (Conceptualization to Operationalization)

• 지표(Indicator)의 선정: '사회적 신뢰'라는 개념을 어떻게 물을 것인가?
  • 단일 문항(Single Item) vs 다중 문항 척도(Multi-item Scale): 복합적인 개념은 반드시 다중 문항으로 측정하여 신뢰도(Cronbach's $\alpha$)를 확보해야 한다.
• 차원(Dimension)의 분해:
  • 예: '직무 만족도 →  급여 만족, 동료 관계, 업무 내용, 승진 기회 등으로 세분화하여 각각 질문.

2. 질문의 형태 (Question Formats)

• 개방형 질문 (Open-ended Questions):
  • 장점: 응답자의 생생한 언어 포착, 예상치 못한 답변 발견.
  • 단점: 코딩(Coding)의 어려움, 응답자의 노력 부담, 무응답률 높음.
  • 활용: 탐색적 연구, "기타( )" 항목, 심층적 이유를 물을 때.
• 폐쇄형 질문 (Closed-ended Questions):
  • 조건: 응답 범주(Response Categories)는 반드시 **상호배타적(Mutually Exclusive)**이고 **포괄적(Exhaustive)**이어야 한다.
  • 장점: 데이터 처리 용이, 비교 가능성 높음.
  • 단점: 응답 강요(Forced Choice), 연구자의 프레임에 갇힘.

---

[모듈 2] 질문 워딩의 심리학: 무엇을 피해야 하는가?

목표: 응답자의 인지적 부담을 줄이고 편향(Bias)을 최소화하는 문장 작성법을 익힌다.

1. 인지적 과정 (The Cognitive Process of Answering)

응답자는 4단계를 거친다: ①질문 이해(Comprehension) →  ②정보 인출(Retrieval) →  ③판단(Judgment) →  ④응답보고(Response). 이 과정 중 어디서든 오류가 발생할 수 있다.

2. 치명적인 워딩의 오류들 (The Seven Sins of Wording)

1. 이중 질문 (Double-barreled Questions): 한 문장에 두 가지를 묻는 것.
   • 오류: "정부는 국방비를 줄이고 복지 예산을 늘려야 합니까?" (동의/비동의가 섞일 수 있음)
   • 수정: 국방비와 복지 예산을 분리하여 두 문항으로 질문.
2. 유도 질문 (Leading Questions): 특정 답변을 암시하거나 권위에 호소하는 것.
   • 오류: "대다수의 전문가가 동의하는 XX 정책에 대해 어떻게 생각하십니까?"
3. 부정 질문 및 이중 부정 (Negative Items): 뇌는 부정을 처리하는 데 시간이 걸린다.
   • 오류: "학생들이 학교에 오지 않아서는 안 된다고 생각하십니까?" →  "학생들이 학교에 와야 한다고 생각하십니까?"
4. 모호한 단어 (Ambiguous Words): '자주', '가끔', '보통'의 기준은 사람마다 다르다. 가급적 구체적 빈도(예: 일주일에 1회 이상)를 제시하라.
5. 전문 용어 및 은어 (Jargon): 연구자만 아는 용어 금지. (예: '아노미', '사회적 자본' 등 직접 사용 금지)
6. 사회적 바람직성 편향 (Social Desirability Bias):
   • 투표, 자선, 성생활 등 민감한 주제에서 응답자는 '착한 사람'으로 보이려 한다.
   • 해결: 투사법(Projective Techniques) 사용, "많은 사람들이 투표를 하지 못하곤 합니다..."와 같은 안도 문구(Face-saving) 배치.
7. 위협적인 질문 (Threatening Questions): 소득, 불법 행위 등은 구간(Range)으로 묻거나 완곡하게 질문.

---

[모듈 3] 척도의 구성: 뉘앙스를 측정하다

목표: 변수의 수준(명목, 서열, 등간, 비율)에 맞는 적절한 척도를 설계한다.

1. 리커트 척도 (Likert Scale)

• 구조: 강한 비동의(1) - 비동의(2) - 중립(3) - 동의(4) - 강한 동의(5).
• 쟁점:
  • 중립 구간(Mid-point)의 포함 여부: 포함하면 '회피성 응답'이 늘고, 제거하면 '강제 선택'이 된다. (동양권 문화에서는 중립 응답 경향이 높음)
  • 점수: 5점 vs 7점 척도 (7점이 변별력은 높으나 인지적 부담 큼).

2. 의미 분별 척도 (Semantic Differential Scale)

• 구조: 서로 반대되는 형용사 쌍을 양극단에 배치. (예: 깨끗한 <-----> 더러운)
• 용도: 이미지, 태도, 감정 측정에 효과적.

3. 거트만 척도 (Guttman Scale)

• 구조: 위계적 강도를 가진 문항들. 강한 문항에 동의하면 약한 문항에도 자동 동의한다고 가정. (예: 사회적 거리감 척도 - 결혼 가능 > 친구 가능 > 이웃 가능)

---

[모듈 4] 질문지의 구조와 배열 (Questionnaire Layout)

목표: 질문의 순서가 응답에 미치는 맥락 효과(Context Effect)를 이해하고 최적의 흐름을 설계한다.

1. 질문 배열의 원칙

• 깔때기 모형 (Funnel Sequence): 일반적이고 넓은 질문 → 구체적이고 좁은 질문.
• 흥미 유발: 첫 질문은 쉽고 흥미로운 것으로 배치하여 라포(Rapport) 형성. (인구통계학적 질문을 처음에 두지 말 것)
• 민감한 질문의 위치: 질문지의 후반부(3/4 지점)에 배치. 신뢰가 쌓인 뒤 질문.

2. 맥락 효과 (Context Effects)

• 일관성 효과 (Consistency Effect): 앞의 질문에 대한 응답과 일관성을 유지하려는 심리.
• 대조 효과 (Contrast Effect): 앞의 질문과 반대되게 응답하려는 경향.
• 해결: 질문 순서를 무작위 배정(Randomization)하거나, 완충 질문(Buffer items) 삽입.

3. 여과 질문과 분기 (Filter & Contingency Questions)

• 해당하지 않는 응답자를 건너뛰게 하는 기술. (예: "투표 하셨습니까?" →  예(이동), 아니오(종료))
• 복잡한 분기는 응답자를 혼란스럽게 하므로 화살표나 박스로 명확히 시각화.

4. 매트릭스 질문 (Matrix Questions)

• 동일한 척도(예: 매우 만족~매우 불만족)를 가진 여러 항목을 묶어서 제시.
• 장점: 공간 절약, 응답 속도 향상.
• 위험: 응답 세트(Response Set) 발생. 내용을 읽지 않고 일직선으로 찍는 현상. (역문항(Reversed Item)을 섞어서 방지해야 함)

---

[모듈 5] 사전 검사와 최종 점검

목표: 실사(Fieldwork) 전 오류를 수정하는 필수 과정.

1. 인지적 인터뷰 (Cognitive Interviewing)

• 소수의 응답자에게 "왜 그렇게 응답했는지", "이 단어를 어떻게 이해했는지" 소리 내어 말하게 함(Think-aloud protocol).
• 연구자의 의도와 응답자의 해석이 일치하는지 확인하는 가장 강력한 방법.

2. 사전 조사 (Pre-test / Pilot Study)

• 본 조사와 동일한 조건에서 소규모(20~50명) 실시.
• 체크리스트:
  • 응답 소요 시간이 너무 길지 않은가?
  • 무응답이 쏟아지는 특정 문항이 있는가?
  • 응답 분포가 한쪽으로 쏠리는가? (천장 효과/바닥 효과)

---

[실습 과제 (Workshop Assignment)]

1. 나쁜 질문 수정하기: 제공된 '오류투성이 질문지'를 분석하고, 3가지 이상의 원칙을 적용하여 수정하시오.
2. 개념의 조작화: 본인의 연구 주제 중 핵심 변수 하나를 선정하여 5문항 이상의 리커트 척도로 개발하시오.

[필독 참고 문헌]

1. Dillman, D. A., Internet, Phone, Mail, and Mixed-Mode Surveys. (설문 조사의 바이블)
2. Converse, J. M., & Presser, S., Survey Questions: Handcrafting the Standardized Questionnaire.
3. Tourangeau, R., et al., The Psychology of Survey Response. (응답의 심리학적 기제)