The learning of visual representations is a crucial problem in machine learning and computer vision. However, previous studies have focused mainly on improving model performance on benchmark datasets like ImageNet, limiting their applicability in real-world scenarios. In this paper, we propose two solutions to overcome these challenges and address the difficulties in representation learning from uncurated datasets. Firstly, we propose learning object-centric representations by separating objects from backgrounds in multi-object images. This enables us to remove scene biases and enhance the robustness of the model. Secondly, we employ semi-supervised learning when dealing with uncurated, unlabeled data. This allows us to improve the model's performance by leveraging large amounts of unlabeled data. Specifically, for the first problem, we propose object-centric learning techniques in unsupervised and patch-based models. For the second problem, we propose semi-supervised learning techniques in image classification and image-to-text models. Through our proposed techniques, we demonstrate excellent performance by efficiently utilizing uncurated data in various experimental settings.
시각적인 표현 학습은 기계학습과 컴퓨터 비전에서 중요한 문제입니다. 그러나 이전 연구들은 이미지넷과 같은 벤치마크 데이터셋에서의 모델 성능 향상에만 주력하여 현실 세계에서의 적용에는 한계가 있습니다. 이 논문에서는 이러한 문제를 극복하기 위해 비편집 데이터셋에서의 표현 학습의 어려움을 극복하기 위한 두 가지 해결책을 제안합니다. 첫째로, 다중 객체 이미지에서 객체와 배경을 구분하여 학습함으로써 객체-중심 표현을 학습합니다. 이를 통해 모델의 장면 편향을 제거하고 모델의 견고성을 개선할 수 있습니다. 둘째로, 비지도 데이터가 정제되지 않은 경우에 준지도 학습을 사용합니다. 이를 통해 많은 양의 라벨이 달리지 않은 비정제 데이터를 활용하여 모델의 성능을 개선할 수 있습니다. 구체적으로, 첫번째 문제의 경우 비지도 학습 및 패치 기반 모델에서 객체-중심 학습 기법을 제안했고, 두번째 문제의 경우 이미지 분류 및 이미지-자연어 모델에서 준지도 학습 기법을 제안했습니다. 제안한 기법들을 통해 다양한 실험 환경에서 정제되지 않은 데이터를 효율적으로 활용하여 우수한 성능을 보였습니다.
