작업 배치 및 품질 분석을 사용한 프레임워크 기반 크라우드소싱 품질 향상 기법
A Quality Enhancement Method of Crowdsourcing based on a Framework using Task Distribution and Quality Analysis
- 주제(키워드) 도움말 크라우드소싱
- 발행기관 서강대학교 일반대학원
- 지도교수 박석
- 발행년도 2014
- 학위수여년월 2014. 2
- 학위명 석사
- 학과 및 전공 도움말 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000053337
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록/요약 도움말
현재 크라우드소싱은 다양한 분야에서 사용되고 있으며 앞으로 그 중요성과 활용 가능성이 높아지고 있다. 크라우드소싱은 컴퓨터로 해결하기 어려웠던 기존의 작업들을 작은 작업들로 쪼개어 불특정 다수를 대상으로 하는 병렬 작업 시장이다. 이미 reCAPTHCHA, Duolingo, Amazon Mechanical Turk 등의 서비스들이 활성화 되어 크라우드소싱의 강력한 힘을 사용하여 문제를 해결할 수 있음을 보이고 있다. 그러나 현재도 많은 서비스들이 크라우드소싱을 활용하여 문제의 해결을 시도하고 있지만 크라우드소싱은 불특정 다수의 대중을 대상으로 하는 작업 환경이기 때문에 작업결과는 항상 정답이라 할 수 없으며 잘못된 작업결과는 비용의 낭비와 시스템의 불일치 상태를 초래한다. 특히 크라우드소싱의 작업이 점점 실제 세계로 확장됨에 따라 크라우드소싱으로 해결하려는 작업이 어려워지고 복잡해지고 있으며 작업결과의 품질에 대한 문제는 더욱 커지고 있다. 따라서 본 연구에서는 크라우드소싱 환경에서 작업결과의 품질을 높이기 위한 품질 관리 프레임워크를 제안한다. 기존에 사용되던 무작위 작업 배치와는 다르게 제안 프레임워크에서는 작업결과의 품질 향상을 위해 작업과 작업자의 특성을 분석하고 작업자에게 적합한 작업을 배치하여 작업 결과의 품질을 높일 수 있도록 한다. 또한 작업 결과에 대한 일반적인 평가 방법으로 사용되는 다수대표제에 비해 적은 비용으로 정확한 평가가 가능한 누적투표제를 품질 평가에 사용하기 위한 모델링 기법을 제안한다. 제안 기법에 대한 시뮬레이션과 실제 크라우드소싱 작업에 대한 실험을 통해 제안 프레임워크를 사용하여 효과적인 작업 배치가 가능하고 누적투표제를 평가에 사용하여 비용 대비 정답률을 높일 수 있으며 크라우드소싱 작업 결과의 품질을 높일 수 있음을 보인다.
more초록/요약 도움말
Currently, the crowdsourcing is used in various fields more and more, and its importance and the possibility of utilizing will be increasing in the future. Crowdsourcing is a parallel problem-solving market that consists of unspecified crowds and targets the divided small tasks that cannot be solved by the traditional computing. There are some crowdsourcing services, for example, reCAPTCHA, Duolingo, Amazon Mechanical Turk, which are showing that the crowdsourcing can be a powerful problem-solving method. Nowadays, there are many services that using the crowdsourcing to solve difficult problem. However, because the crowdsourcing has a feature that it use the unknown crowds, the results of tasks are not always correct and it can lead to the waste of costs and the inconsistency of system. Especially, as the crowdsourcing is extended to the various real-world problem, the tasks become much harder and more complicated. Because of the difficult tasks, it is an important issue that how we can improve the quality of results of the crowdsourcing. Therefore, in this thesis, we propose a quality control framework for enhancing the quality of the result of crowdsourcing. In the proposed framework, to improve the quality of the result of the crowdsourcing, the framework analyze the workers' and tasks' features. Then the framework distribute the tasks to the workers properly so that minimize the accumulation of difference between task's difficulty and worker's ability. Furthermore, we propose a modeling technique which apply the cumulative voting system to the quality evaluation for lower costs and higher correct answer rates comparing to the plurality voting system that is traditionally used. Through the experimentation of simulations and real crowdsourcing tasks, we show that our framework can distribute the tasks properly and get lower costs and higher correct answer rates for the higher quality of the results of the crowdsourcing.
more