실험조사설계의 타당도

1. 내적 타당도

 

1) 내적 타당도

 

가. 개념

-  인과성의 확인 즉 ‘종속변수의 변화가 독립변수에 의해 일어난 것인가?’를 확인하는 정도를 의미

나. 내적 타당도에 영향을 주는 주요 위협요인

-  성숙효과
① 조사 기간 중 조사 집단의 특성이 변화함으로써 종속변수에 영향을 줌
② 특성의 변화 : 조사대상자의 심리적, 생리적, 인구통계적, 경제적 특성 등
  예 : 노인에게 ‘건강체조 프로그램’ 실시, 이후 1년 뒤 ADL을 조사해보니 변화가 없어, 그러면 프로그램은 효과가 없는 것일까?

- 역사적 사건
① 조사자의 의도와 관계없이 일어난 사건으로 종속변수에 영향
② 조사기간이 길수록 외부 사건의 영향을 받을 가능성이 커짐

- 측정 효과
① 개입 전후에 측정을 반복할 때 사전검사가 사후검사에 영향
  예 : 학교사회복지사가 진로상담교사와 함께 학생의 진로적성 파악을 위해 동일한 진로적성검사를 1개월 간격으로 2회 실시하였을 때, 두 번째 검사에서는 첫 번째 검사보다 각 영역에서 고르게 더 나은 점수를 보일 수 있음

- 측정도구 효과
① 측정도구의 사용, 도구의 점수 산정방법 등의 측정 절차와 관련하여 의도하지않은 영향을 주는 것을 말함
② 사전조사와 사후조사 실시 요원이 다른 경우, 측정방법의 변화 등의 측정도구 문제가 측정 결과에 영향을 미칠 수 있음.
  예 : 같은 내용의 검사를 사전에는 20분, 사후에는 30분 시간을 배정

- 대상자 선정 오류
①  실험집단과 통제집단이 서로 상이한 경우
②  무작위표본추출이 중요함
  예 : 자녀와 갈등이 있는 부모를 대상으로 의사소통 훈련프로그램을 신문에 공고하여 집단을 모집  →  신문을 안보는 사람, 자녀와의 문제를 이야기하고 싶지 않은 사람은 참여하지 않을 가능성 높음

- 통계적  회귀  :  극단적인  사례를  집단에  포함시킬  때  발생하는  오류
- 실험  도중  탈락  :  실험  대상자가  사후  측정을  하기  전에  실험도중  탈락
- 상호작용의  영향  :  내적  타당도의  위협  요소간에  상호작용이  일어난  경우

다.  내적  타당도에  대한  대책

-  조사연구  기간을  가능한  짧게  유지함

 

- 측정도구를  한  번만  사용하거나  사후측정에서는  조금  다른  측정도구를  사용함

- 연구요원  훈련을  통해  측정  시  동일한  방법(절차)를  시행함

- 연구  대상자,  특히  동테집단  참여자와  접촉을  계속  유지(탈락방지)함

- 극단적인  측정값을  보이는  대상자를  피함

- 가능하면  무작위  배정,  또는  실행  가능한  많은  변수에  배합하도록  함

 

2.  외적  타당도(external  validity)

 

1)  외적  타당도

 

가.  개념

-  “실험조사  결과를  어느  정도  일반화할  수  있는가?”
- “다른  대상자  및  다른  상황에서도  동일한  결과가  가능한가?”

나.  외적  타당도에  영향을  주는  위협  요인

-  측정의  반응효과
①  사전측정의  영향으로  대상자를  민감하게  만들어  대상자가  모집단을  대표할  수 없는  경우로  만드는  경우
②  사전측정으로  응답자에게  조사를  의식하게  하거나  자신이  조사연구와  관련되어  있다는  것을  깨닫게  함으로써  스스로  조사에  대한  반응  및  민감성을  보이게  함

- 참여자  선정과  연구  속성의  상호작용  :  조사  대상자를  무작위로  구하기  어려울 경우
- 실험세팅의  영향  :  일상적인  상황과  다른  환경에서  실험조사  연구가  진행될  경우
- 다중치료의  효과  :  실험조사에서  개입이  여러  차례  있을  경우

다.  외적  타당도에  대한  대책

-  조사  대상자가  그  적용될  집단의  대표성을  갖도록  함
- 개입  자체가  분명하고  구조화되어야  함
- 조사  진행  요원은  훈련되고  자질을  갖춘  사람으로  하며  개입이  동일하게  진행되도록  함



학습정리
1. 내적타당도 : 인과관계의 확인
- 위협을 주는 요인 : 성숙효과, 역사적 사건, 측정효과, 측정도구 효과, 대상자 선정 오류,통계적 회귀, 실험도중 탈락, 상호작용의 영향
2. 외적타당도 : 일반화
-  위협을 주는 요인 : 측정의 반응효과, 참여자 선정과 연구 속성의 상호작용, 실험세팅의 영향, 다중치료의 효과

 

 

 

 

 

부산디지털대학교 사회복지조사론 강의정리 : 이은자 교수 2021년 2학기 강의