In the realm of cultural content analysis and academic research, the collection of image-based cultural content or
historical image objects from big data is a cardinal facet. However, this process is as intricate as extracting gold from vast terrains. Echoing this sentiment, there’s a rising tide of appreciation in scholarly circles for “Four-panel Cartoons” (FPCs) as a valuable cultural and historical content source in big data digital newspapers in
Korea. Yet, akin to a treasure hunter’s endeavor, identifying these FPCs amidst the vastness of big data archives
is an intricate journey, especially given their unstructured image data format — a task both time-intensive and costly. To address this issue, this research paper presents a novel computational data strategy: the development of the YOLOv5 FPC model, via fine-tuning the You Only Look Once Version 5 (YOLOv5) deep learning model, tailored precisely for FPC image detection. The original YOLOv5 model was fine-tuned using the “Four-Panel Cartoon Image Dataset,” [34] which we collected for optimization of the model. The resultant YOLOv5 FPC model showcased an F1-score of 0.97 for FPC detection, despite the small number of training data we were able to collect. When we applied our YOLOv5 FPC model to the Chosun Ilbo News Library [24] archive (1920-1940) for automated object detection, spanning 47,777 image files, we identified 1040 FPC objects within 1035 files, which include previously undiscovered FPCs by previous researchers, which we used for data analysis. These FPC images have been made available on the Harvard Dataverse website [32]. The seamless integration of the YOLOv5 FPC model with the Google Colab platform [33] offers users an intuitive platform for automated FPC detection within large digital collections, substantially reducing time, energy, and associated costs. This study presents an innovative methodology for detecting FPCs, offering new insights into cultural content and
historical research.
문화 콘텐츠 산업 및 학계에서는 빅데이터 디지털 문서의 이미지 기반 문화 콘텐츠 탐지 작업이 매우 중요하지만, 이는 시간과 비용이 많이 드는 일이다. 한국의 디지털 신문에서는 문화적, 역사적 콘텐츠 소스로서 네컷만화(FPC) 에 대한 평가가 높아지고 있다. 그러나 방대한 빅데이터 저장소에서 비정형 이미지 데이터인 네컷만화를 식별하 고 추출하는 것은 복잡한 작업이다. 이 문제를 해결하기 위해, 본 논문에서는 You Only Look Once Version 5 (YOLOv5) 딥러닝 모델을 사용하여 자체 구축한 학습 데이터로 미세 조정하여 네컷만화 탐지 및 데이터 분석을 수행했다. 처음에는 YOLOv5가 네컷만화를 탐지하지 못했으나, 저자들은 최적화를 위해 자체 수집한 네컷만화 이미지 데이터 세트[34]를 사용하여 미세 조정을 통해 모델을 재학습했다. 이로 인해 YOLOv5 FPC 모델은 소량의 학습 데이터에도 불구하고 네컷만화 탐지에서 F1-score 0.97을 달성했다. 이 미세 조정된 YOLOv5 FPC 딥러닝 가중치를 활용하여 조선일보 뉴스 라이브러리(1920-1940)에서 네컷만화 자동화 객체 탐지를 적용했으며, 데이터 분석 결과 47,777개의 이미지 파일 중 1040건의 FPC 이미지(1035개 파일)를 탐지했다. 이들 네컷만화 이미지를 Harvard Dataverse 데이터베이스[32]에 업로드했으며, 누구나 문화 콘텐츠 연구 자료로 열람할 수 있다. 이렇게 효율적으로 수집된 FPC 데이터는 중요한 문화 콘텐츠 및 역사 자료로 활용될 수 있으며, 광범위한 문화 및 역사 연구에 도움이 될 것이다. 또한, 저자들은 YOLOv5 FPC 모델의 가중치를 활용하여 Google Colab 플랫폼[33]에서 사용할 수 있는, 사용자가 자신의 이미지 파일을 업로드하면 자동으로 네컷만화를 탐지, 추출, 저장하는 파이썬 스크립트를 개발했으며, 이는 사용자의 시간과 비용을 절감하는 장점을 가진다. 이 연구는 문화 콘텐츠 및 역사 연구에 새로운 인사이트를 제공하는 혁신적인 네컷만화 탐지 방법론을 제시한다.
