검색 상세

Extreme response style을 고려한 집단 차 분석 방법 : 문항반응이론에 기초하여

Analysis of group differences considering extreme response style: Based on item response theory

  • 장효주 (HyoJu Jang, 서강대학교 일반대학원)

초록/요약

Analyzing group differences is one of the widely used methods in social science research, as in cultural difference studies and sex difference studies. Response styles should be considered to draw a valid conclusion about the intergroup difference. For example, when examining the difference in positive emotion levels between two cultures, if respondents from one culture prefer to use middle response categories (e.g., neutral) on rating scales, regardless of the actual level of positive emotion, and respondents from the other culture do not, differences between the two cultures in measured responses are affected not only by the attribute of interest but also by response styles. If we test the group difference based on such responses, a mixture of the two effects, it would not be possible to differentiate the attribute of our main interest from the response style. However, not many researchers have conducted their studies with being aware of response style. Therefore, this study aimed to propose and evaluate a model which can examine group differences considering extreme response style (ERS). Specifically, ERS-GPCM, a recently proposed model, is based on the item response theory (IRT) and enables ERS-considered analysis by adding a parameter to reflect the extreme response style. In this thesis, an extension of ERS-GPCM was proposed that includes a group as a covariate and thus enables to detect group differences in both the attribute and ERS. In addition, it was examined how accurately ERS-GPCM can estimate the group differences in the attribute of main interest and response styles, compared to GPCM. The findings showed that under the conditions where there were no or small difference in ERS and no group difference in the attribute, both GPCM and ERS-GPCM yielded accurate results. However, under the conditions where a group difference in the attribute existed, both models produced higher bias and RMSE values, resulting in inaccurate estimates. When the group difference in ERS was large, using GPCM considerably inflated the type I error rate in testing the group difference in the attribute. In terms of statistical power, both GPCM and ERS-GPCM yielded high values, but GPCM had relatively higher power than ERS-GPCM. Finally, suggestions for testing group differences and limitations and contributions of this study are discussed.

more

초록/요약

문화 차 연구, 성차 연구 등에서와 같이 집단 간 차이를 확인하는 것은 사회과학 연구에서 널리 사용되는 방법이다. 이때, 반응 양식(response style)은 집단 차에 대한 정확한 결론을 내리기 위해 반드시 고려해야 하는 요인 중 하나이다. 예를 들어, 만일 두 문화권 간의 긍정 정서 수준 차를 측정하고자 할 때, 실제 긍정 정서의 수준과 관계없이 한쪽 문화권의 사람들이 가운데 반응 범주(e.g. 보통이다)에 가깝게 응답하는 경향성을 가지고 있고 다른 문화권의 사람들은 그렇지 않다면, 측정값에서 두 문화권 간의 차이는 관심 속성의 차이 뿐 아니라 반응 양식 차이에 의해서도 영향을 받게 된다. 이렇게 두 가지 효과가 혼합된 상황에서 집단 차를 검증한다면, 이 결과가 관심 속성의 차이에서 비롯된 것인지 반응 양식 차이 때문인지 알 수 없게 된다. 그러나 실제 집단 차 연구 장면에서는 많은 경우 반응 양식을 고려하지 않은 채 분석이 시행되고 있다. 따라서, 본 연구에서는 반응 양식을 고려하여 집단 차를 검증할 수 있는 분석 모형을 제시하고, 이 모형의 유용성을 확인해보고자 하였다. 구체적으로, 최근 문항반응이론(IRT)에 기반하여 제안된 ERS-GPCM은 GPCM(generalized partial credit model)에 응답자의 극단적 반응 양식(extreme response style; ERS)을 반영하는 모수를 추가함으로써 ERS를 고려한 분석을 가능하게 한다. 본 연구에서는 이 ERS-GPCM에 집단을 공변인(covariate)으로 추가하여 반응 양식을 통제하고 집단 차를 검증할 수 있는 모형을 제시하고, 시뮬레이션에 기반하여 이 모형과 기존의 GPCM 모형이 실제 반응 양식과 관심 속성에서의 집단 차를 정확하게 추정하는지 비교하여 살펴보았다. 분석 결과, 반응 양식의 영향이 없거나 작은 경우, 관심 속성의 집단 차가 없다면 두 모형 모두 관심 속성의 집단 차를 비교적 정확히 추정하였고, 관심 속성의 집단 차가 있다면 bias와 RMSE가 증가하며 추정이 부정확하게 나타났다. 반응 양식의 영향이 큰 경우에는, 이를 고려하지 않은 기존 GPCM을 사용해 데이터를 분석했을 때, 관심 속성에 대한 제1종 오류의 비율이 크게 증가하였다. 관심 속성 집단 차에 대한 검정력 측면에서는 GPCM과 ERS-GPCM 모두 높게 나타났으나, GPCM의 검정력이 ERS-GPCM 보다 상대적으로 조금 더 높게 나타났다. 마지막으로 집단 차 검증법에 대한 제언을 기술하고, 본 연구의 의의와 한계를 논하였다.

more
반출 Meta View 목록