Ⅱ과목 조사관리와 자료처리_5장 자료처리_01.부호화_➋무응답 처리 방법

 

➋무응답 처리 방법
연구조사 자료를 처리할 때 무응답 데이터는 신중하게 다루어져야 합니다. 무응답 데이터는 참여자가 특정 질문에 대답하지 않거나 유효한 응답이 없는 경우에 발생합니다. 무응답 데이터를 처리하는 방법은 다음과 같이 여러 가지가 있습니다.
①무응답 처리 규칙 정의	연구 시작 전, 연구자는 무응답 데이터에 대한 처리 방침을 정의해야 합니다. 이 규칙은 어떤 종류의 무응답을 어떻게 처리할지에 대한 지침을 제공합니다.
②무응답 부호 또는 코드 지정	무응답 데이터에 대한 특별한 부호 또는 코드를 지정합니다. 이렇게 하면 나중에 데이터 분석에서 무응답을 식별하고 구분할 수 있습니다.
③평균 대치법(Imputation)	평균 대치법은 수치 데이터의 무응답을 해당 변수의 평균값으로 대치하는 방법입니다. 이것은 데이터 손실을 최소화할 수 있지만, 무응답 데이터의 비율이 낮은 경우에 적합합니다.
④가장 큰 범주 범주화	범주형 데이터의 경우, 무응답을 해당 변수의 가장 큰 범주로 범주화하는 방법을 사용할 수 있습니다.
⑤무응답 삭제	무응답 데이터를 삭제하고 분석에서 제외할 수 있습니다. 그러나 이는 데이터 손실을 초래하며 주의가 필요합니다.
⑥무응답과 관련된 분석 계획	특정 변수에 대한 무응답 데이터가 중요한 정보를 담고 있을 때, 해당 변수를 고려한 분석 계획을 세울 수 있습니다. 이는 무응답 데이터가 연구 결과에 미치는 영향을 최소화할 수 있습니다.
⑦대안 질문 사용	연구 설계 단계에서 대안 질문을 사용하여 무응답을 최소화할 수 있습니다. 예를 들어, "응답하지 않을 경우 왜 응답하지 않았는지 이유를 알려주세요"와 같은 대안 질문을 포함할 수 있습니다.
무응답 데이터 처리는 연구 목적, 데이터 종류, 무응답 데이터의 양 및 중요성 등 여러 요인을 고려하여 결정되어야 합니다. 결과 데이터의 타당성과 신뢰성을 유지하기 위해 무응답 데이터 처리에 대한 결정을 신중하게 내려야 합니다.

➋무응답 처리 방법 ▶결측값 처리하기
결측값(missing values)은 데이터 세트에서 값이 없는 항목을 가리킵니다. 이러한 결측값은 여러 가지 원인으로 발생할 수 있으며, 이를 처리하지 않으면 데이터 분석의 정확성에 영향을 미칠 수 있습니다. 결측값을 처리하는 방법에는 여러가지가 있습니다:
①제거	결측값이 있는 행 또는 열을 완전히 제거하는 방법입니다. 이 방법은 간단하고 쉽지만, 중요한 정보를 잃을 수 있다는 단점이 있습니다.
②대체	결측값을 다른 값으로 대체하는 방법입니다. ·평균(mean), 중앙값(median), 최빈값(mode) 등의 통계적 추정치로 대체할 수 있습니다. ·회귀 분석, 보간(interpolation), 시계열 예측 등의 예측 모델을 사용하여 값을 추정해 넣을 수도 있습니다.
③다중 대체 (Multiple Imputation)	여러 번의 대체 과정으로 결측치를 채우는 기법입니다. 각각의 대체 과정에서 약간 다른 값이 사용되며, 결과적으로 얻어진 여러 개의 완전한 데이터셋들로부터 얻어진 결과들을 평균내서 최종 결과를 도출합니다.
④데이터 분석 기법인 Full Information Maximum Likelihood (FIML)나 Multiple Imputation by Chained Equations (MICE) 등은 상대적으로 복잡하지만, 결측치가 많거나 패턴이 복잡할 때 유용하게 사용됩니다.
⑤결측치 인식 알고리즘 활용	일부 머신러닝 알고리즘들은 결측치를 자동으로 처리할 수 있는 기능이 내장되어 있습니다.
위와 같은 방법 중 어느 것을 선택할지는 연구자가 가지고 있는 문제의 특성과 목표에 따라 달라집니다.

▶결측값 처리하기
①평균대체 (Mean imputation)	평균 대체는 데이터세트의 누락된 값을 해당 특정 열이나 기능에 있는 나머지 데이터의 평균(평균) 값으로 바꾸는 방법입니다.
	작동방식	1.특정 열에서 누락되지 않은 모든 값의 평균값을 계산합니다. 2.해당 열 내의 모든 누락된 값을 이 계산된 평균으로 바꿉니다. 3.누락된 데이터를 처리하는 가장 간단한 방법 중 하나이지만 몇 가지 단점이 있습니다.
	단점	기능 간의 상관 관계를 고려하지 않습니다. 대치에 오류가 없다고 가정하기 때문에 분산과 공분산을 과소평가할 수 있습니다. 평균값의 추가 인스턴스를 추가하여 해당 빈도를 인위적으로 부풀릴 수 있으므로 원래 분포 및 공분산 구조가 왜곡될 수 있습니다. 따라서 평균 대체는 빠른 분석이나 기본 모델에 적합할 수 있지만 최종 분석이나 생산 모델에는 더 정교한 기술이 필요할 수 있습니다. 여기에는 회귀 대치, 다중 대치 또는 고급 기계 학습 기반 접근 방식과 같은 방법이 포함될 수 있습니다.
②유사자료 대체 (Hot-deck Imputation)	핫덱 대체(Hot-deck Imputation)는 결측값을 유사한 사례의 관측값으로 대체하여 결측 데이터를 처리하는 방법입니다.
	작동방식	결측값이 있는 각 레코드에 대해 해당 변수가 결측되지 않은 유사한 레코드를 하나 이상 찾습니다. "유사"의 정의는 응용 프로그램에 따라 다를 수 있지만 특정 주요 변수와 일치하는 레코드를 찾는 것이 포함되는 경우가 많습니다. 이러한 유사한 기록 중에서 무작위로 하나를 선택하고 해당 값을 사용하여 누락된 값을 채웁니다.
	장점	평균이 아닌 실제 관측값을 사용하기 때문에 데이터의 변동성을 유지합니다. 평균 또는 중앙값 대치보다 변수 간의 관계를 더 잘 보존할 수 있습니다.
	단점	도출할 유사한 사례가 많지 않은 경우 이 방법을 사용하면 편향된 추정이 발생할 수 있습니다. "유사한" 사례로 간주되는 항목을 신중하게 선택해야 합니다. 유사한 사례 중에서 선택하는 것과 관련된 무작위성은 대치 작업을 수행할 때마다 다른 결과를 초래할 수 있습니다. 이러한 과제에도 불구하고 핫 데크 대체는 특정 상황에서 누락된 데이터를 처리하는 데 유용한 도구가 될 수 있습니다.
③외부자료 대체 (Cold-deck Imputation)	콜드 데크 대치(Cold-deck Imputation)는 핫 데크 대치(Hot-deck Imputation)와 유사하게 누락된 데이터를 처리하는 방법이지만 동일한 데이터 세트 내의 유사한 레코드 풀에서 그리는 대신(핫 데크에서와 같이) 외부 소스 또는 보조 레코드를 사용합니다. 누락된 값을 채울 데이터 세트입니다.
	작동방식	1.누락된 값이 있는 각 레코드에 대해 해당 변수가 누락되지 않은 보조 데이터 세트에서 하나 이상의 유사한 레코드를 찾습니다. "유사"의 정의는 응용 프로그램에 따라 다를 수 있지만 특정 주요 변수와 일치하는 레코드를 찾는 것이 포함되는 경우가 많습니다. 2.이러한 유사한 기록 중에서 하나를 선택하고 해당 값을 사용하여 누락된 값을 채웁니다. 콜드 데크 대치의 장점과 단점은 핫 데크 대치의 장점과 단점과 대체로 유사합니다.
	장점	평균이 아닌 실제 관측값을 사용하기 때문에 데이터의 변동성을 유지합니다. 평균 또는 중앙값 대치보다 변수 간의 관계를 더 잘 보존할 수 있습니다.
	단점	도출할 유사한 사례가 많지 않은 경우 이 방법을 사용하면 편향된 추정이 발생할 수 있습니다. "유사한" 사례로 간주되는 항목을 신중하게 선택해야 합니다. 외부 데이터 세트가 필요하면 해당 데이터 세트가 완벽하게 신뢰할 수 없거나 비교할 수 없는 경우 상황이 복잡해지고 새로운 오류 소스가 발생할 수 있습니다. 이러한 과제에도 불구하고 콜드 데크 대체는 관련 외부 데이터 소스에 액세스할 수 있는 경우 유용할 수 있습니다.
④회귀 대체 (Regression Imputation)	회귀대체란 데이터 분석에서 누락된 데이터가 있는 변수와 다른 변수 간의 관계를 모델링하여 누락된 값을 대치하거나 추정하는 데 사용되는 방법입니다. 관심 변수와 데이터 세트의 다른 변수 사이에 선형 또는 비선형 관계가 있는 경우 특히 유용합니다.
	작동방식	1.관련 변수 선택: 데이터세트에서 누락된 값을 추정하기 위한 예측변수로 사용할 수 있는 변수 세트를 식별합니다. 이러한 예측 변수는 데이터가 누락된 변수와 관련되어야 합니다. 2.회귀 모델: 1단계에서 선택한 변수를 사용하여 회귀 모델을 구축합니다. 회귀 모델은 선형 회귀, 다중 회귀, 로지스틱 회귀(이진 결과의 경우) 또는 기타 적절한 회귀 기법이 될 수 있습니다. 3.대치: 적합 회귀 모델을 사용하여 관심 변수에 대한 결측값을 예측하거나 대치합니다. 모델은 예측 변수의 관측값을 기반으로 결측값을 추정합니다. 4.각 누락된 값에 대해 반복: 누락된 데이터가 있는 각 케이스에 대해 대체 프로세스가 반복되어 모든 누락된 관측값에 대한 대체 값이 생성됩니다. 5.모델 적합성 평가: 회귀 모델의 적합도를 평가하여 데이터가 누락된 변수의 가변성을 얼마나 잘 설명하는지 확인합니다. 이 단계는 전가가 합리적인지 확인하는 데 도움이 됩니다. 6.가정 확인: 회귀 모델의 가정이 충족되는지 확인합니다. 선형 회귀 분석의 경우 이러한 가정에는 선형성, 오류 독립성, 등분산성, 잔차 정규성이 포함됩니다.
	장점	이는 데이터 세트 내의 관계를 활용하여 정보에 입각한 전가를 수행합니다. 연속형, 범주형 또는 이진형 변수를 처리할 수 있습니다. 변수 간의 복잡한 관계를 설명할 수 있습니다.
	단점	회귀 모델에 의해 포착된 관계가 대치에 유효하다고 가정합니다. 모델 가정이 위반되면 전가가 부정확할 수 있습니다. 변수 간의 관계가 비선형적이거나 복잡할 경우 제대로 작동하지 않을 수 있습니다.
⑤무작위 대체 (Random Imputation)	무작위 데이터 대체라고도 하는 랜덤 대체는 데이터 분석 및 통계에서 데이터 세트의 누락된 값을 해결하는 데 사용되는 방법입니다. 누락된 데이터가 있는 경우 무작위 대치에는 누락된 값을 지정된 분포에서 무작위로 생성된 값으로 바꾸는 작업이 포함됩니다. 이 방법은 누락된 데이터가 무작위로 완전 누락(MCAR)되었다고 가정할 때 유용할 수 있습니다.
	작동방식	1.누락된 값 식별: 먼저 데이터 세트에서 누락된 값을 식별해야 합니다. 2.무작위 값 생성: 각 결측값에 대해 지정된 분포에서 무작위 값을 생성합니다. 이 목적에 사용되는 일반적인 분포에는 정규(가우스), 균일 또는 데이터 특성에 따른 기타 관련 분포가 포함됩니다. 3.누락된 값 바꾸기: 누락된 값을 무작위로 생성된 값으로 바꿉니다. 이제 이 귀속된 데이터 세트를 통계 분석에 사용할 수 있습니다. 무작위 대체는 데이터의 전체 분포를 보존하고 편향을 줄이는 데 도움이 될 수 있습니다. 그러나 이는 특히 누락된 데이터가 무작위로 완전히 누락되지 않은 경우(MCAR) 항상 적절한 것은 아닙니다. 무작위가 아니거나 무작위로 누락된 데이터의 경우 평균 대체, 중앙값 대체 또는 회귀 대체와 같은 다른 대체 방법이 더 적합할 수 있습니다. 대치 방법을 선택할 때 가정과 데이터의 맥락을 고려하는 것이 중요합니다. 또한 다양한 대치 기술의 결과를 비교하여 분석에 미치는 영향을 평가하는 것이 좋습니다.
⑥베이지안 대체 (Bayesian Imputation)	베이지안 대치(Bayesian Imputation)는 데이터세트에서 누락된 데이터를 해결하는 데 사용되는 통계적 대치 기술입니다. 불확실성을 고려하면서 누락된 값을 추정하기 위해 베이지안 통계 원리와 방법을 사용합니다. 이 접근 방식은 데이터의 관계에 대한 사전 지식이나 정보를 통합할 수 있으므로 복잡한 대치 문제를 처리할 때 특히 유용합니다.
	작동방식	1.모델 사양 : 베이지안 대체는 관찰된 데이터와 관찰되지 않은(누락된) 데이터 간의 관계를 설명하는 통계 모델을 지정하는 것으로 시작됩니다. 이 모델은 선형 회귀, 계층적 모델 또는 보다 복잡한 구조와 같은 데이터의 특정 특성에 맞게 조정할 수 있습니다. 2.매개변수 추정 : 베이지안 대체는 선택한 모델의 매개변수를 추정하기 위해 베이지안 추론을 사용합니다. 여기에는 관찰된 데이터를 사용하여 모델 매개변수를 업데이트하고 가능한 경우 사전 정보를 통합하는 것이 포함됩니다. 결과는 매개변수 값의 사후 분포입니다. 3.다중 대체 : 누락된 각 데이터 포인트에 대해 단일 대체 값을 생성하는 대신 베이지안 대체는 일반적으로 다중 대체를 생성합니다. 이러한 대치된 데이터 세트는 추정의 불확실성을 반영하여 모델 매개변수의 사후 분포에서 추출됩니다. 4.대치 풀링 : 여러 귀속 데이터 세트를 얻은 후 결과를 모아 단일 귀속 데이터 세트를 생성할 수 있습니다. 이 풀링된 데이터 세트는 후속 분석에 사용됩니다. 5.분석 : 마지막으로 전체 데이터와 마찬가지로 귀속된 데이터 세트에 대한 분석(예: 회귀 분석 또는 가설 테스트)을 수행할 수 있습니다. 다중 대체는 대체 값과 관련된 불확실성을 설명합니다.
	장점	베이지안 대치법은 여러 가지 장점을 제공합니다. 복잡한 데이터 구조를 처리하고 사전 지식을 통합하며 불확실성을 인정하여 보다 정확한 추정치를 제공할 수 있습니다. 그러나 계산 집약적일 수 있으며 베이지안 통계에 대한 전문 지식이 필요할 수 있습니다. 베이지안 대치의 성공 여부는 모델 사양의 품질과 사용된 사전 정보의 적합성에 달려 있다는 점을 명심하십시오. 모델의 가정이 기본 데이터 생성 프로세스와 잘 일치할 때 가장 효과적입니다.
⑦복합 대체 (Composite Imputation)다.	다중 대체라고도 알려진 복합 대체는 연구 및 데이터 분석에서 누락된 데이터를 처리하는 데 사용되는 통계 기법입니다. 누락된 값을 통계 모델을 기반으로 여러 개의 그럴듯한 값 세트로 대체한 후 분석에 사용하는 프로세스입니다. 개념은 다음과 같이 설명될 수 있습니다.
	작동방식	1.다중 대치 생성 : 복합 대치에서는 누락된 값을 대체하기 위해 단일 대치 데이터 세트를 생성하는 대신 일반적으로 5개 이상의 다중 데이터 세트가 생성됩니다. 이러한 대치된 데이터세트는 전체 데이터에서 관찰된 관계와 패턴을 고려하는 통계 모델에서 도출됩니다. 2.각각의 귀속된 데이터세트 분석 : 다수의 귀속된 데이터세트 각각은 마치 완전한 데이터세트인 것처럼 개별적으로 분석됩니다. 이는 귀속된 각 데이터 세트에 대해 동일한 분석이 수행되어 여러 결과 세트가 생성됨을 의미합니다. 3.결과 결합 : 여러 분석의 결과를 결합하여 관심 매개변수의 전체 추정치를 제공합니다. 이 조합은 대치 내 변동성(대체된 각 데이터 세트 내의 변동성)과 대치 간 변동성(다른 대치된 데이터 세트 간의 변동성)을 모두 고려합니다. 4.분산 계산 : 여러 대치에 대한 모수 추정치의 분산이 계산됩니다. 이 분산은 각 귀속된 데이터 세트 내의 불확실성과 귀속 프로세스 자체로 인한 불확실성을 모두 반영합니다.
	장점	·누락된 관측값에 대해 가능한 여러 값을 고려하여 누락된 데이터와 관련된 불확실성을 분석 결과에 반영합니다. ·단일 대체 방법에 비해 더 정확하고 편향되지 않은 모수 추정치를 생성합니다. ·이는 대치로 인한 변동성을 설명하는 유효한 표준 오류, 신뢰 구간 및 가설 테스트를 제공합니다. 완전 무작위 누락(MCAR), 무작위 누락(MAR), 무작위 누락(MNAR) 데이터를 포함하여 다양한 유형의 누락 데이터에 복합 대치법을 적용할 수 있습니다. 이는 광범위한 연구 및 통계 분석에서 누락된 데이터를 처리하기 위한 강력한 접근 방식입니다.