We consider query-based data labeling problem in which, the goal is to classify k objects in database into binary attributes. Queries are designed using the following rule. First, randomly select query difficulty(d) number of objects. Next, ask whether those objects have an even or odd number for the given attribute. Designed queries are distributed to workers using a crowdsourcing system. We consider two system models in this paper. First is crowdsourcing erasure model. In the erasure model, workers either provides the correct answer for a query if he/she knows the answer or, refuses to answer if he/she is unsure about the answer. The second is a crowdsourcing error model. In the error model, a worker always supplies an answer, but the answer can be right or wrong. In this paper, we consider the case of multiple worker groups. Workers in the same group have the same performance on queries and the same cost for raising a query. However, workers in different groups show a different performance on queries and a different cost for raising a query. In this situation, depending on how we allocate queries to each group, the total cost used to label objects may vary. In this paper, our goal is to find the optimal distribution of queries for each group to minimize the total cost of classifying object attributes.
이 논문에서는 질문을 통해 데이터베이스상의 k개의 객체를 이진의 분류로 나누는 문제를 다룬다. 질문을 설계하는 방식은 다음과 같다. 먼저, k개의 객체들 중 무작위로 질문 복잡도(d)만큼의 객체를 뽑는다. 이후, 뽑은 객체들 중 특정한 분류인 것이 홀수 개 포함되어 있는지 혹은 짝수 개 포함되어 있는지를 묻는다. 이런 과정을 통해 만들어진 질문들은, 크라우드소싱 시스템을 사용하여 작업자들에게 분배된다. 우리는 작업자들의 답변 모델 두가지를 고려한다. 하나는 크라우드 소싱 소거 모델이다. 소거 모델에서 작업자들은 질문에 대해 아는 경우 옳은 답변을 하고, 모를 경우 답변을 하지 않는다. 다른 하나는 크라우드 소싱 오류 모델이다. 오류 모델에서 작업자들은 질문에 대해 항상 답변을 하지만, 옳은 답변을 할 수도 옳지 않은 답변을 할 수 도 있다. 우리가 다루는 문제에는 작업자들의 집단이 여러 개가 있다. 같은 집단에 있는 작업자들끼리는 질문에 대해 모를 확률과 한 개의 질문에 대해 보상되는 비용이 같지만, 다른 집단에 있는 작업자들끼리는 질문에 대해 모를 확률이 다르고, 한 개의 질문에 대해 보상되는 비용이 다르다. 이러한 상황을 가정한다면, 각 집단에 어떻게 질문을 배분하는지에 따라 k개의 객체를 분류하기 위해 사용되는 총 비용이 달라질 수 있다. 이 논문의 목표는 각 집단에 어떻게 질문을 배분해야 가장 적은 비용으로 k개의 객체를 분류 할 수 있을지에 대해 찾는 것이다.
