In this thesis, a novel self-constructive point-level multiple object tracking (PMOT) method is proposed for autonomous robots operating in unstructured dynamic environment (UDE). With the particular assumptions in UDE, no prior knowledge of target objects, dynamic change in their shapes and numbers, and using the sensor system only on the robot, the proposed method features a self-constructive object file and the assimilation and accommodation processes, that are based on the Piaget’s cognitive development theory, in order for interpreting the observed point-cloud data, robust tracking, and incremental learning the target object models. The three components are designed and implemented to achieve the three objectives: flexibility in representing priorly unstructured multiple objects, reliability in tracking dynamic multiple objects that are interacting each other, and computational efficiency for real-time implementation and extendability of the proposed method.
The self-constructive means that not only the parameters but also the structure of a model can be learnable and reconstructable according to the change of environments. In order to represent arbitrary unknown objects, an object is embodied as a Gaussian Mixture Model (GMM) that is a probability density function showing the object’s existence stochastically in 3-d space. The proposed self-constructive object file is designed as a hierarchical structure, where multiple objects are stored in point-level, component-level, and object-level. The component-level data represents each Gaussian of objects, and allows the self-constructive property by constructing spatiotemporal association among them incrementally. Based on the Piaget’s cognitive development theory, the assimilation and the accommodation processes are designed to achieve reliability in identifying multiple objects and updating each object model for representing each object in the object file. In order to achieve the research objectives, the proposed method is designed by using interdisciplinary approaches: theories of human infant’s tracking ability from cognitive science, unsupervised machine learning technique for representing object models, graph theory to solve combinatorial optimization problem for constructing temporal associations between object components, and bayesian filtering technique from signal processing area.
This thesis also proposes several research questions to the proposed self-constructive PMOT problem. Several experiments, that are involved in tracking human hands and multiple objects on a table, are designed and performed to investigate the proposed research questions and answer to them. The results show that the proposed method is able to robustly track arbitrary deformable dynamic objects without any prior-knowledge, but it also shows several limitations for being implemented in real-time task. The limitations are also thoroughly analyzed, and significant further work is derived to lead a future robot to be more intelligent and autonomous in unstructured dynamic human environment.
본 논문은, 비구조화된 동적 환경 (UDE) 에서 동작하는 자율로봇을 위한 새로운 자가구성 점수준 다수 물체 추적 (PMOT) 방법을 제안한다. 목표 물체의 사전 지식 부재, 물체 모양 및 개수의 동적 변화, 로봇에 부착된 센서 사용으로 대표되는 UDE의 특수 가정에 따라, 본 제안하는 방법은 피아제 (Piaget)의 인지발달 이론에 근거한 자가구성형 물체 파일 (Self-constructive object file), 동화 (assimilation)과정, 순응 (accommodation)과정으로 구성되며, 이는 관측된 점구름 (point-cloud) 데이터의 해석, 강인한 물체 추적, 목표 물체 모델의 증가 학습을 위함이다. 이 세 가지 주요 요소는 다음과 같은 세 가지 목표를 달성하기 위해 설계되고 구현되었다: 비구조화된 다수 물체를 표현하기 위한 유연성, 동적 상호작용 중에 있는 다수 물체의 강인한 추적, 실시간 구현을 위한 계산 효율성 및 제안하는 방법의 확장성.
`자가구성`은 모델의 파라미티 뿐만 아니라 구조까지도 학습 가능하며 환경의 변화에 따라 재구성되는 것을 의미한다. 임의의 알려지지 않은 물체를 표현하기 위하여, 각 물체는 물체의 확률적 존재를 3차원 공간에 나타내는 확률밀도함수인 가우시안 믹스쳐 모델 (GMM) 으로 구체화 된다. 본 논문에서 제안된 자가구성 물체 파일은 다수의 물체가 점-수준, 컴포넌트-수준, 물체-수준으로 저장되는 계층구조로 설계되었다. 컴포넌트-수준의 데이터는 각 물체의 가우시안을 표현하며, 이는 컴포넌트 사이의 시공간 연결관계를 증가적으로 구축하며 `자가구성` 특징을 가능하게 한다. 피아제의 인지발달 이론에 따라, 동화 및 순응 과정은 다수 물체를 신뢰성 있게 구분하고 추적하기 위해 설계되었으며, 이를 통하여 물체 파일의 각 물체를 표현한 모델을 갱신하게 된다. 본 연구 목표를 달성하기 위하여, 제안된 방법은 다음과 같은 학제간 접근법을 사용하여 설계되었다: 인지과학적 측면의 유아의 물체 추적 기능에 대한 이론, 물체 모델 표현을 위한 자율 기계 학습법, 물체의 컴포넌트간에 시적 관계 형성을 위한 조합최적화 문제를 풀기 위한 그래프 이론, 신호 처리 분야의 베이지안 필터링 방법.
본 이론은 또한 제안된 자가구성 PMOT 문제에 대한 몇몇 연구 문제를 제안한다. 이러한 연구 문제를 조사하고 답을 찾기 위하여, 테이블 위의 사람 손과 다수 물체 움직임 추적에 관한 몇몇 실험이 설계되고 수행되었다. 그 결과는 제안된 방법이 임의의 변형 가능한 동적 물체를 사전정보 없이 강인하게 추적이 가능함을 보였으며, 또한 실시간 작업을 구현하기 위하여는 몇 가지 한계가 있음을 나타내었다. 이러한 한계점들은 면밀히 분석되었고, 그에 따른 중요한 향후 연구가 도출되었으며, 이는 미래 로봇이 비구조화된 동적 인간 환경에서 지능적이고 자율적으로 동작하는데 기여할 것이다.
