In order to facilitate image retrieval, we proposed architecture of a collaborative image tagging system, which takes the form of image-based CAPTCHAs. The system includes methods of using current image recognition algorithms to extract ‘target objects (objects to be tagged)’ from images, identifying ‘target attributes’ of the extracted target objects (an image tagging system), differentiating between humans and computers (as CAPTCHAs), and generating verified test images (a test image generator). The proposed image tagging system was applied to recognition of human faces, which can be automatically detected by current image recognition algorithms, and evaluated its applicability in two steps. In the first step, we implemented GenCAPTCHA, which was designed to identify the gender of human faces. We concluded that GenCAPTCHA reliably identified gender-indiscernible faces because the consistency of our user responses was 89.05%. A single, eight-image GenCAPTCHA challenge was completed in 12.41 seconds (average), with a human success rate of 86.51%. This success rate could be increased by filtering error-prone test images. In contrast, the probability of passing a GenCAPTCHA challenge by random guessing was 0.006%. In the second step, we implemented AgeCAPTCHA to tag human faces according to age category. In contrast to gender, some age groups were difficult to clearly distinguish, so we applied a two-layered response structure that uses the indistinguishable categories, not to differentiate between humans and computers, but to tag the images. In our user studies, the user responses showed high consistency (80.19%). The median completion time of a single AgeCAPTCHA challenge was 15.75 seconds, and the human success rate was at least 88.21%. From all these results, we conclude that our image tagging system is robust enough to resist machine attacks, and easy enough for human users, to be used in practice.
인터넷에서 공유되는 디지털 사진의 수가 폭발적으로 증가함에 따라 ‘효율적인 사진 검색 방법’이 중요 문제로 연구되고 있다. 현재 가장 널리 이용되는 방법은 사진마다 그 내용을 묘사하는 태그(Tag)를 달고, 이 태그들을 이용하여 검색을 수행하는 것이다. 하지만 태그를 쉽게 생성할 수 있는 사람에게는 많은 수의 사진을 다루는 것이 부담스럽고, 자동화하기에는 현재의 컴퓨터 비전(Computer Vision) 기술이 충분히 발전하지 못하였기 때문에 태그 생성에 어려움을 겪고 있다. 이에 본 연구에서는 인터넷에서 보편적으로 수행되는 ‘사람과 컴퓨터를 구별하는 테스트인 캡챠(CAPTCHA)’와 ‘태그 생성 작업’을 결합하여, 캡챠 수행 과정을 통해 양질의 태그가 지속적으로 생성될 수 있도록 하는 새로운 ‘사진 주석 생성 시스템(Image Tagging System)’을 제안하였다.
본 시스템을 위한 세 가지 주된 접근 방법 중 첫 번째는, 사진에 등장하는 여러 대상 중에서 현재의 컴퓨터 비전 기술이 특정 속성을 인식하지 못하는 것들만 추출하여 캡챠에 사용하는 것이다. 이를 통해, 단기적으로 태그 생성의 효율을, 장기적으로 캡챠의 보안성을 높인다. 두 번째는 캡챠 수행 시에 첫 번째 단계에서 추출된 대상을 일정 횟수 이상 제시하여 인식되지 않은 속성에 대한 사용자들의 응답을 수집하는 것으로, 해당 속성에 대한 신뢰도 높은 인식 및 태그 생성을 가능하게 한다. 마지막 세 번째는 두 번째 단계에서 사용자 응답을 통해 속성이 인식된 대상 중, 그 응답의 일치율이 일정 기준 이상으로 높은 것들만 선별하여 캡챠의 테스트 사진으로 사용하는 것이다. 이 단계를 통해 사람은 쉽게 인식할 수 있으나 현재의 컴퓨터 비전 기술로는 인식되지 않는 검증된 테스트 사진을 생성함으로써 캡챠의 사용성과 보안성이 동시에 향상된다.
제안 시스템에 대한 평가는 현재 컴퓨터 비전 기술로 자동 검출 가능한, 사람의 얼굴을 대상으로 하여 총 2단계로 이루어졌다. 1단계에서는 얼굴의 여러 속성 중, 카테고리 데이터이면서 각 카테고리가 시각적으로 명확하게 구분되는 ‘성별’에 대한 태그 생성을 위해 제안 시스템을 적용하고 그 결과를 분석하였다. 실험 결과 제안 시스템을 통해 수집된 성별에 대한 사용자 응답은 매우 높은 일치율(89.05%)을 보였으며, 이를 통해 생성된 태그(남성, 여성, 불확실함, 사람 아님)의 신뢰도가 높음을 확인할 수 있었다. 또한, 제안 시스템은 현재 가장 보편적으로 이용되는 7글자짜리 문자 기반 캡챠보다 수행 시간이 짧았으며, 사용자들의 테스트 통과율이 약 90%에 달함에 따라 실제적인 이용이 가능한 것으로 평가되었다.
2단계에서는 수량 데이터인 ‘나이’에 대한 태그 생성을 위해, 나이를 다섯 가지(아기, 어린이, 청소년, 성인, 노인)로 카테고리화 하여 본 시스템을 적용하였다. 나이는 성별과 달리 시각적으로 명확하게 구분되는 속성이 아니므로 특정 카테고리(청소년 등)에 대해서는 일관성 있는 사용자 응답을 얻기 어렵다. 이에 2단계 실험에서는 응답 일치율이 높지 않은 특정 카테고리를 태그 생성의 용도로만 사용하고, 캡챠의 성공/실패 여부를 판별하기 위한 용도로는 사용하지 않는 ‘이원화된 응답 체계’를 추가로 제안하여 태그 생성의 정확도를 유지함과 동시에 캡챠의 사용성을 높이고자 했다. 정량적 실험을 수행한 결과 대부분의 카테고리에서 높은 사용자 응답 일치율(80.2%)을 보였으며, 신뢰도 높은 태그 생성이 가능한 것으로 평가되었다. 수행 시간에서는 기존의 사진 기반 캡챠 대비 유사한 결과(15초 내외)를 보였으며, 사용자들의 테스트 통과율은 88.2%로 나타났다. 이에 따라, 나이라는 시각적으로 명확하게 구분되지 않는 속성에 대해서도 본 시스템의 실제적인 적용이 가능함을 확인할 수 있었다.
본 연구에서는 제안된 사진 태깅 시스템을 사람 얼굴의 특정 속성만을 대상으로 구현과 평가를 수행하였다. 하지만 타 대상의 시각적으로 드러나는 보편적인 속성들에 대해서도 같은 적용이 가능하다. 한편, 본 시스템의 적용을 통해 1차적인 속성 정보(성별, 나이 등) 외에도 2차적인 집단정보(등장인물의 수/위치 등)의 수집이 자연스럽게 이루어진다. 이러한 2차 정보는 1차 정보와 더불어 사진이 촬영된 맥락(가족사진, 친구들과의 모임 등)을 유추하는 데 활용될 수 있다. 따라서 본 시스템은 1차 정보뿐만 아니라 2차 집단정보 및 맥락 정보의 수집과 활용을 가능케 함으로써 사진 검색의 효율을 높이는데 더욱 기여 할 수 있을 것이다.
