사회과학 연구방법론 심화

주제: 인과관계의 규명과 실험설계 (Causal Inference & Experimental Design)

[Part 1] 실험의 논리: 왜 실험인가? (The Logic of Experimentation)

목표: 사회과학에서 실험이 갖는 '인과 추론의 황금 표준(Gold Standard)'으로서의 지위를 이해한다.

1. 반사실적 모델 (Counterfactual Model)

실험의 핵심 질문: "만약 그 처치(Treatment)가 없었더라면 결과는 어떠했을까?"
우리는 현실에서 '처치를 받은 나'와 '받지 않은 나'를 동시에 관찰할 수 없다. (인과 추론의 근본적 문제)
실험의 해법: 처치 집단과 '모든 면에서 동일하지만 처치만 받지 않은' 통제 집단(Control Group)을 만들어, 반사실(Counterfactual)을 시뮬레이션한다.

2. 실험설계의 3대 요소

조작 (Manipulation): 독립변수(X)를 인위적으로 변화시킴.
통제 (Control): 외생변수(Z)의 개입을 차단함.
비교 (Comparison): 처치 집단과 통제 집단 간의 종속변수(Y) 차이를 확인함.

3. 무작위 배정 (Random Assignment) ★핵심 중의 핵심

정의: 연구 대상자를 처치 집단과 통제 집단에 확률적으로 동일하게 배정하는 것 (동전 던지기).
효과: 관찰되지 않은 변수(Unobserved variables, 예: 성격, 유전, 과거사)까지도 두 집단 간의 통계적으로 균등하게 만듦. → 선택 편향(Selection Bias)의 완벽한 제거.
주의: 무작위 표집(Random Sampling, 일반화 목적)과 혼동하지 말 것. 무작위 배정은 내적 타당도를 위한 것이다.

[Part 2] 타당도(Validity)의 위협 요인: 무엇이 실험을 망치는가?

목표: Campbell & Stanley가 제시한 타당도 저해 요인을 숙지하고 방어 논리를 세운다.

1. 내적 타당도 (Internal Validity) 위협 요인

"X 때문에 Y가 변한 것이 확실한가? 다른 이유 때문은 아닌가?"

우연한 사건 (History): 실험 도중 발생한 외부 사건. (예: 금연 실험 중 담배값 폭등)
성숙 (Maturation): 시간 경과에 따른 자연적 변화. (예: 아동 발달, 피로, 배고픔)
검사 효과 (Testing): 사전 검사(Pre-test) 경험 자체가 사후 검사에 영향을 줌. (학습 효과)
측정 도구 (Instrumentation): 채점자나 측정 기준의 변화.
통계적 회귀 (Regression to the mean): 극단적인 점수를 받은 사람은 재측정 시 평균으로 회귀하는 경향.
상실 (Mortality/Attrition): 특정 성향의 사람들이 실험 도중 중도 탈락함.

2. 외적 타당도 (External Validity) 위협 요인

"이 실험 결과를 실험실 밖의 현실 세계에도 적용할 수 있는가?"

호손 효과 (Hawthorne Effect): 관찰받고 있다는 사실 때문에 행동이 변함.
상호작용 효과: '사전 검사 + 처치'가 결합되어 나타난 효과 (현실에선 사전 검사가 없으므로 효과가 다를 수 있음).

[Part 3] 실험설계의 유형 (Types of Experimental Designs)

목표: 연구 상황에 맞는 최적의 디자인을 선택하고 그 한계를 파악한다.

1. 원시 실험 설계 (Pre-experimental Design)

특징: 통제 집단이 없거나 무작위 배정이 없음. 인과 추론 불가능.
단일 사례 연구 (One-shot Case Study): X → O
단일 집단 사전사후 설계: O1 → X → O2 (성숙 효과 통제 불가능)

2. 순수 실험 설계 (True Experimental Design)

통제 집단 사전사후 설계 (Pretest-Posttest Control Group Design):
- R (무작위) O1 → X → O2
- R (무작위) O3 → O4
- 장점: 모든 내적 타당도 위협 요인 통제 가능.
통제 집단 사후 설계 (Posttest-only Control Group Design):
- 사전 검사(O1, O3)를 생략. 무작위 배정(R)을 믿고 두 집단이 동질하다고 가정.
- 장점: 검사 효과(Testing effect) 제거.
솔로몬 4집단 설계 (Solomon Four-Group Design): ★가장 강력함
- 위 두 설계를 합친 것. 사전 검사의 영향력까지 분리해서 분석 가능.

3. 준실험 설계 (Quasi-experimental Design)

현실적으로 무작위 배정이 불가능할 때(예: 학교 반 편성, 정책 시행) 사용.
비동질적 통제 집단 설계 (Nonequivalent Control Group Design):
- 기존 집단을 그대로 쓰되, 사전 검사로 동질성을 최대한 확인하거나 통계적 보정(ANCOVA) 사용.
시계열 설계 (Time-series Design):
- O1 ... O5 → X → O6 ... O10
- 장기간의 추세를 보며 X의 개입 효과를 확인.

[Part 4] 요인 설계 (Factorial Design): 복합적 인과의 규명

목표: 두 개 이상의 독립변수가 상호작용하여 미치는 영향을 분석한다.

1. 상호작용 효과 (Interaction Effect)

변수 A의 효과가 변수 B의 수준에 따라 달라지는 현상.
예: 교수법(A)의 효과는 학생의 지능(B)에 따라 다른가?
- 2 × 2 설계: (강의식/토론식) × (지능 고/지능 저)

2. 주효과 (Main Effect)

다른 변수와 상관없이 특정 변수(A)가 종속변수에 미치는 전반적인 영향.

[Part 5] 사회과학 실험의 윤리와 실제적 쟁점

목표: '인간'을 대상으로 하는 실험의 특수성과 윤리적 딜레마를 이해한다.

요구 특성 (Demand Characteristics):
- 피험자가 연구자의 의도(가설)를 눈치채고 그에 맞춰 행동하려는 경향.
- 해결: 위약(Placebo) 사용, 이중맹검(Double-blind), 커버 스토리(Cover Story - 가짜 목적 알려주기) 활용.
실험자 편향 (Experimenter Bias):
- 연구자가 자신의 기대에 맞춰 피험자를 미묘하게 다르게 대하거나 관찰하는 것.
윤리적 문제:
- 통제 집단에게 유익한 처치(예: 신약, 교육 프로그램)를 제공하지 않는 것은 윤리적인가?
- 대안: 대기자 명단 통제 집단(Wait-list Control - 실험 끝난 후 처치 제공).

[실습 과제: Experimental Design Critique]

과제: 다음의 가상 연구 설계를 읽고 타당도 위협 요인을 찾아내어 비판하시오.

[사례] A 교수는 자신의 '창의력 증진 프로그램' 효과를 검증하고 싶었다. 본인의 '심리학 개론' 수강생 50명 중, 자원자 25명을 모집하여 프로그램을 실시했다(실험 집단). 나머지 25명은 아무것도 하지 않았다(통제 집단). 학기 말에 두 집단의 창의력 점수를 비교했더니, 실험 집단의 점수가 월등히 높았다. A 교수는 프로그램이 효과가 있다고 결론 내렸다.

비판 포인트:
1. 선택 편향(Selection Bias): 자원자는 원래 의욕이 넘치거나 창의적인 학생일 수 있음 (무작위 배정 실패).
2. 실험자 편향/호손 효과: 자신의 수업 수강생이므로 교수의 의도를 알았을 것임.
3. 사전 검사 부재: 원래 창의력이 높았는지 알 수 없음.

[추천 참고 문헌]

Campbell, D. T., & Stanley, J. C., Experimental and Quasi-Experimental Designs for Research. (이 분야의 고전이자 바이블)
Shadish, W. R., Cook, T. D., & Campbell, D. T., Experimental and Quasi-Experimental Designs for Generalized Causal Inference. (현대적 집대성)
Field Experiments in Social Science. (실험실을 벗어난 현장 실험의 방법론)