Label set construction --- deciding on a group of distinct labels --- is an essential stage in building a machine learning (ML) application, as a badly designed label set negatively affects other stages such as training dataset construction, model training, and model deployment. Despite its significance, it is challenging for ML practitioners to come up with a well-defined label set, especially when no external references are available. To mitigate this difficulty, ML practitioners often go through multiple iterations to gradually improve their label set. Through our formative study (n=4), we observed that there still remain challenges in collecting helpful feedback and utilizing them to make optimal refinement decisions. To support the iterative refinement, we present DynamicLabels, a system that aims to support a more informed label set-building process with crowd feedback. Crowd workers provide feedback as annotations and label suggestions to the ML practitioner's label set, and the ML practitioner can review the feedback through multi-aspect analysis and see the potential consequences of label refinements. Through a within-subjects study (n=16) using two datasets, we found that DynamicLabels enables better understanding and exploration of the collected feedback and supports a more structured, confident refinement process. The ML practitioners were also able to see surfacing conflicts and edge cases that could have been ignored. In addition, the crowd feedback helped ML practitioners to gain diverse perspectives, spot current weaknesses, and shop from crowd-generated labels. With DynamicLabels, ML practitioners can successfully gain concrete understanding and evidence from the crowd and make informed refinements to iteratively improve the label set.
레이블 셋 구축 -- 서로 다른 레이블들의 그룹 및 위계를 정의하는 것 -- 은 머신러닝 어플리케이션을 만들 때 필수적인 단계이다. 잘못 설계된 레이블 셋은 머신러닝 어플리케이션의 다른 단계인 트레이닝 데이터 셋 구축, 모델 훈련, 모델 배치에 부정적인 영향을 미친다. 레이블 셋 구축의 중요성에도 불구하고, 머신러닝 실무자들은 특히 외부 레퍼런스가 없을때 잘 정의된 레이블 셋을 만드는 데에 어려움을 겪는다. 이러한 한계를 극복하기 위해 머신러닝 실무자들은 반복적인 구축 프로세스를 통해 피드백을 모으고 이를 활용하여 레이블 셋을 발전시킨다. 본 연구에서는 머신러닝 실무자들과의 인터뷰 (n=4)를 통해 해당 프로세스에서 필요한 피드백을 모아 최적의 선택을 하는 데에 여전히 어려움이 있음을 확인하고, 크라우드 피드백 기반 합리적인 레이블 셋 수정과정을 지원하는 DynamicLabels 시스템을 제안한다. 크라우드 워커들은 DynamicLabels를 통해 애노테이션을 진행 및 레이블을 제안하면서 머신러닝 실무자의 레이블 셋에 피드백을 남기고, 머신러닝 실무자는 다각도 분석을 통해 피드백을 검토하며 레이블 개선의 잠재적 결과를 확인할 수 있다. 두 가지의 데이터 타입을 사용한 피험자 내 실험 (n=16)을 통해 DynamicLabels가 머신러닝 실무자로 하여금 수집된 피드백을 더 잘 이해하고 탐색할 수 있도록 하며 보다 체계적이고 자신감 있는 개선 프로세스를 지원한다는 것을 발견했다. 머신러닝 실무자들은 놓칠 수 있었던 중복 케이스와 엣지 케이스들을 확인할 수 있었다. 또한, 크라우드 피드백을 통해 크라우드의 다양한 관점을 얻고, 현 레이블 셋의 약점을 발견하고, 참가자들의 레이블 제안들을 활용할 수 있었다. DynamicLabels을 통해 머신러닝 실무자는 크라우드로부터 구체적인 데이터에 대한 이해와 증거를 성공적으로 얻었고, 이를 바탕으로 합리적인 레이블 셋 개선을 성공적으로 수행했다.
