평가의 집중화 현상에 대한 연구 : A study on the concentration bias of evaluations : Focusing on the number of evaluation measures and the difference of expertise
- 발행기관 서강대학교 대학원
- 지도교수 이남주
- 발행년도 2007
- 학위수여년월 200702
- 학위명 석사
- 학과 및 전공 경영
- 식별자(기타) 000000103471
- 본문언어 한국어
초록/요약
평가의 목적은 평가대상 간의 차별화를 통해 구분을 이루어 내어 평가대상이 같지 않고 다르다는 것을 보여줌으로써 각종 의사결정에 근거를 제공해 주는 것이다. 예를 들어, 기업가치 평가나 투자의사결정의 경우 평가를 통해 평가 대상을 차별화함으로써 적절한 의사결정을 할 수 있게 된다. 그리고 종업원 성과평가의 경우 평가를 통해 종업원 간의 차별화를 이룸으로써 종업원이 최대한의 노력을 할 수 있도록 동기부여를 하는 역할을 한다. 만약 평가결과의 차별화가 이루어지지 않는다면, 위와 같이 평가를 통해 기업이 추구하고자 하는 목적을 달성할 수 없을 것이다. 본 연구는 평가결과의 집중화를 야기하는 요인으로 평가항목의 수와 가중치를 설정하고, 실험연구를 통해 연구가설을 검증하였다. 실험은 전문가 그룹 30명과 비전문가 그룹 30명을 대상으로 하여 ‘투자의견 제시’에 관한 실험을 실시하였다. 피험자들은 평가항목을 5개만 제시한 실험 1과 평가항목을 12개 제시한 실험 2, 이렇게 두 번의 과업을 수행하고, 마지막으로 실험 후 설문을 작성하였다. 본 연구에서는 위와 같은 실험을 통해 평가항목의 수가 지나치게 많아지거나 평가항목의 가중치가 지나치게 낮아지는 경우 평가자들이 제시한 평가결과가 집중화 현상을 나타내는지를 검증하였다. 더불어 전문가와 비전문가 그룹을 나누어 실험을 진행함으로써 ‘전문성’이라는 요소가 평가항목의 수와 가중치에 의한 인지적 영향을 얼마나 차단하는지도 살펴보았다. 실험을 통해 수집된 자료들을 분석하기 위해 SAS 9.1을 사용하였으며, 분산분석을 통하여 연구가설을 검증하였다. 본 연구의 결과와 시사점은 다음과 같다. 첫째, 평가항목의 수가 많아지는 경우 평가결과의 집중화가 나타난다는 사실을 검증하였고, 나아가 해당 평가과업에 대해 전문성을 가진 사람이 그렇지 못한 사람보다 늘어난 평가항목의 수에 대해 인지적인 영향을 덜 받는다는 사실을 검증하였다. 이러한 결과는 인간은 평가항목이 많아지는 경우 항목 수에 대해 인지적 영향을 받기 때문에 많은 평가항목을 주고 개별적인 평가자의 판단에 의존하는 것보다는 구조적으로 평가항목의 수를 관리, 통제하는 것이 보다 효과적이라는 사실을 시사하고 있다. 그리고 평가자의 교육 및 훈련의 중요성도 재고할 수 있는 기회가 되었다. 둘째, 평가항목의 수가 많아지면 가중치가 분산되어 가중치가 매우 낮거나 전혀 중요성을 가지지 못하는 항목이 생겨나게 되는데, 이러한 가중치가 매우 낮은 평가항목에 대한 평가결과는 집중화 경향을 나타낸다는 사실을 검증하였다. 이러한 사실은 평가항목의 구성에 있어서 가중치를 매기는 작업 또한 매우 중요하다는 사실을 보여준다. 결국 평가항목을 구성할 때, 가중치가 지나치게 낮거나 평가자가 전혀 중요하게 생각하지 않는 평가항목들이 포함된다면 평가결과의 집중화를 초래하는 원인이 될 수 있는 것이다.
more초록/요약
The objective of evaluations is to show the difference between the objects of evaluation through the differentiation of the objects and eventually, to provide a base for rational decision making. For example, when evaluating companies or making investment decisions, evaluations can be used to differentiate the performances of companies or projects so as to reach a proper decision. Also, in the case of performance evaluations of employees, they can serve as motivation for employees to put in their full effort in order to differentiate themselves from others. If results of evaluations are not differentiated, companies cannot achieve the goals they are pursuing. This study set the number and weight of evaluation measures as a factor causing the concentration of the evaluation result and proved hypothesis of study through laboratory work. A group of 30 professionals and a group of 30 non-professionals participated in experiments called "Decision of investment". The participants presented 5 evaluation measures in experiment 1 and 12 measures in experiment 2 and then were asked to do two tasks and finally worked on a survey. This experiment is done to prove whether there is concentrating phenomenon when the experiment contains too much or too little evaluation items. And plus, how much the element of "professionalism" would disturb the cognitive effect of the number and weight of evaluation measures by dividing two groups indicating professional and non-professional group. SAS 9.1 was used to analyze the data and the hypothesis is proven through Analysis of Variance. The result of this study is as follows. First, the hypothesis stating that there is concentration of the evaluation result when the evaluation items are many has been proven. Furthermore, during the experiment, the professional group was less effected by the recognition of the number of evaluation measures than non-professional group in corresponding evaluation tasks. This result shows that human beings are effected when the number of evaluation measures are increased. This proves that structural management and control of evaluation measures could be more effective than relying on the decisions of the evaluators to make better result. Also, training and educating evaluators are proven to be important as well. Second, if the evaluation measures are many, their weight tends to be dispersed so that their weight can be low or not important at all, and such a weight is proven to show the tendency of concentration. This shows the task of giving the value to the items is proven to be very important. After all, when the evaluation measures that are too low or not important at all are inserted, this can be the major cause of the concentration of the evaluation result.
more