Humans possess the ability to learn a large number of tasks by accumulating knowledge and skills over time. Building a system resembling human learning abilities is a deep-rooted desire since sustainable learning over a long-term period is essential for general artificial intelligence. In light of this need, continual learning (CL), or lifelong learning, tackles a learning scenario where a model continuously learns over a sequence of tasks within a broad research area. For my long-term research goal, I aim to encompass broad research fields to understand humans and impact our real lives through sustainable on-device AI systems with multiple agents. Embedded machines persistently learn human users’ experiences, formulated to non-stationary online egocentric video streams. While multiple agents learn their local experiences separately, they can communicate with each other to expand and evolve their knowledge hosted by the server. The server contributes to stacking and merging the local knowledge on various problems and re-distributing them to participating agents on demand. However, this learning paradigm raises several crucial challenges, First, on-device AI has limited computational and memory budgets according to the hardware and difficulties of local sequential tasks. Second, the agent should adaptively transfer the relevant knowledge from other devices’ experience. Further, we aim to train on real-world data in an online manner, and the real-world data contain a large amount of redundant, imbalanced, and noisy, as well as unlabeled instances. That is, the model should cope with not refined and unannotated training data. And this thesis proposes methods from multiple perspectives for solving these challenges of sustainable on-device, online continual learning for the real world.
인간은 시간이 지남에 따라 새로운 지식과 기술을 학습, 병합하며 더 다양하고 큰 문제를 해결할 수 있는 능력을 갖는다. 이러한 사람의 학습 능력을 닮은 시스템을 구축하는 것은 긴 시간동안 지속가능한 학습 능력이 일반 인공지능의 구현에 있어서 핵심적이기에 연구자들의 오랜 소망이었다. 이러한 필요에 따라, 계속적 학습, 평생 기계학습 분야는 다양한 분야에 걸쳐 단일 모델이 순차적으로 들어오는 다양한 테스크를 계속적으로 학습하는 문제를 제안하였다. 본 저자의 장기적 연구 목표는 많은 수의 지속가능한 온-디바이스 온라인 계속적 학습 에이전트들을 포함한 포괄적 학습 시스템을 구축하는 것이며 이 때 임베디드 머신들은 끊임없이 들어오는 비정체 1인칭 비디오 스트림으로 표현된 장비 착용자의 혹은 장비 자체의 경험을 학습하는 것을 목표로 한다. 각각 에이전트들은 독립적으로 그들의 경험을 학습하나 중앙 서버의 중재를 통한 지식 공유 및 확장을 가능케 한다. 이 때 서버는 정보의 축적과 병합을 수행하고 시스템에 참여한 에이전트들의 필요에 따라 적합한 정보를 송신한다. 요약하면, 이러한 학습 시스템에서 본 저자는 세 가지 해결해야할 문제를 제시한다. 첫 번째, 온-디바이스 AI 는 하드웨어 종류와 해결해야하는 문제의 어려움에 따라 적합하게 제한된 메모리/컴퓨팅 리소스를 활용해 문제를 해결해야 한다. 두 번째, 에이전트들은 다른 에이전트들의 경험과 지식을 필요에 따라 선택적으로 전이할 수 있어야 한다. 세 번째, 본 시스템은 실세계 데이터를 실시간으로 학습하는 것을 목표로 하고 있으며, 이 때 실세계 데이터는 많은 수의 중복, 불균형, 노이즈가 포함된 정보를 함유하고 있을 뿐 아니라 레이블 정보가 없을 수도 있다. 즉, 학습 모델은 정제되지 않거나 레이블링되어있지 않은 데이터를 안정적으로 학습할 수 있어야 한다. 본 학위 논문에서는 앞서 말 한 문제점을 해결하여 실세계를 위한 지속가능한 온-디바이스 온라인 계속적 학습을 구현하기 위해 다양한 관점에서 연구를 수행하였다.
