This thesis discusses some examples of computer vision problems successfully tackled with edge labeling graph.
The first part of this dissertation presents a supervised image segmentation algorithm based on joint-kernelized structured prediction. In the proposed algorithm, correlation clustering over a superpixel graph is conducted using a non-linear discriminant function, where the parameters are learned by a kernelized-structured support vector machine (SSVM). For an input superpixel image, correlation clustering is used to predict the superpixel-graph edge labels that determine whether adjacent superpixel pairs should be merged or not. The proposed joint kernel is defi ned as a combination of an image similarity kernel and an edge-label similarity kernel, which measure the resemblance of two input images and the similarity between two edge-label pairs, respectively. Each kernel function is designed for fast computation and efficient inference. The proposed algorithm is evaluated using two segmentation benchmark datasets: the Berkeley segmentation dataset (BSDS) and Microsoft Research Cambridge dataset (MSRC). It is observed that the joint feature map implicitly embedded in the proposed joint kernel performs comparably or even better than the explicitly designed joint feature map for a linear model.
The second part of this dissertation presents a novel edge-labeling graph neural network (EGNN), which adapts a deep neural network on the edge-labeling graph, for few-shot learning. The previous graph neural network (GNN) approaches in few-shot learning have been based on the node-labeling framework, which implicitly models the intra-cluster similarity and the inter-cluster dissimilarity. In contrast, the proposed EGNN learns to predict the edge-labels rather than the node-labels on the graph that enables the evolution of an explicit clustering by iteratively updating the edge-labels with direct exploitation of both intra-cluster similarity and the inter-cluster dissimilarity. It is also well suited for performing on various numbers of classes without retraining, and can be easily extended to perform a transductive inference. The parameters of the EGNN are learned by episodic training with an edge-labeling loss to obtain a well-generalizable model for unseen low-data problem. On both of the supervised and semi-supervised few-shot image classi fication tasks with two benchmark datasets, the proposed EGNN significantly improves the performances over the existing GNNs.
The third part of this dissertation applies EGNN to incremental few-shot learning, a more practical setting where a regular classi fication network has already been trained to recognize a set of base classes, and several extra novel classes are being considered, each with only a few labeled examples. The goal is to learn novel classes without forgetting the performance on base classes. In meta training stage, the parameters of the graph neural network and initial support node features of the base classes are learned, such that when given a novel class classification task, the learned graph neural network can accurately predict both novel and base class queries. We evaluate the proposed method on miniImagenet few-shot learning benchmark, and showed that the proposed method improves the performances over the baselines that rely on explicit attention-based novel class weight generation.
본 학위논문에서는 엣지 라벨링 그래프를 이용하여 컴퓨터 비전 문제들을 효과적으로 해결한 몇가지 사례를 소개한다.
첫번째 파트에서는 조인트 커널기반 구조적 예측에 기반한 감독 이미지 분할 알고리즘을 제안한다. 제안하는 알고리즘에서는, 비선형 구분 함수를 이용해 수퍼픽셀 그래프 상에서 상관 클러스터링을 수행하게 되며, 커널화된 구조적 서포트 벡터 머신을 사용해 구분 함수의 파라미터들을 학습하게 된다. 입력된 수퍼픽셀 이미지에 대해서, 인접한 두 수퍼픽셀을 합칠 것인지 말 것인지를 결정하는 그래프 엣지 라벨을 상관 클러스터링을 이용해 예측하게 된다. 이때 제안하는 조인트 커널은, 두 이미지 간의 유사도를 결정하는 이미지 유사도 커널과 두 이미지에 존재하는 엣지특징과 라벨간의 관계가 통계적으로 얼마나 유사한지를 측정하는 엣지-라벨 유사도 커널의 조합으로 정의된다. 각각의 커널 함수는 빠른 연산과 효과적인 인퍼런스가 가능한 형태로 디자인 되었다. 제안하는 알고리즘은 두개의 이미지 분할 벤치마크 데이터셋인 BSDS 와 MSRC 에 대해 평가되었다. 실험 결과, 제안된 조인트 커널에 암묵적으로 임베딩된 조인트 특징 벡터가 기존의 선형 모델에서 사용된 명시적으로 디자인된 조인트 특징 벡터에 비해 더 좋은 이미지 분할 결과를 주는 것을 볼 수 있었다.
두번째 파트에서는 소수 샷 학습을 위하여, 엣지 라벨링 그래프에 심화신경망을 접목한 엣지 라벨링 그래프 신경망을 제안한다. 기존의 그래프 신경망을 이용한 소수 샷 학습 알고리즘들은 대부분 노드 라벨링 프레임워크를 기반으로 하며, 이는 동일 클래스간의 유사도와 서로 다른 클래스간의 비유사도를 간접적으로만 모델링하는 한계가 있었다. 이와는 대조적으로, 제안된 엣지 라벨링 그래프 신경망은 그래프의 노드 라벨이 아닌 엣지 라벨을 예측하는 방법을 학습함으로서, 동일 클래스간 유사도와 다른 클래스간 비유사도를 직접 활용하여 엣지 라벨을 반복적으로 업데이트 함으로서 직접적인 클러스터링 효과를 가능케 한다. 제안된 방법은 또한 클래스 갯수가 다양하게 변화하는 상황에서도 모델의 재훈련 없이 적용 가능하며, 전도성(transductive) 추론을 수행하게끔 쉽게 확장될 수 있다. 모델의 파라미터는 에피소딕 훈련을 통해 엣지 라벨 손실값을 줄이게끔 학습되어, 훈련시 보지 못했던 새로운 클래스에 대한 소수 샷 학습 문제를 잘 풀 수 있는 모델로 학습된다. 감독, 비감독 세팅에서의 소수 샷 이미지 분류 실험을 두개의 벤치마크 데이터셋에 대해 수행하였을 때, 제안된 엣지 라벨링 그래프 신경망이 기존의 노드 라벨링 그래프 신경망을 성능면에서 크게 앞서는 것을 확인하였다.
세번째 파트에서는 엣지 라벨링 그래프 신경망을 좀더 실제적인 문제인 증분 소수 샷 학습에 적용하는 방법에 대해 논한다. 증분 소수 샷 학습이라 함은, 이미 어떤 클래스들을 분류하도록 훈련된 분류 신경망이 주어져 있고, 여기에 추가적으로 새로운 클래스들의 라벨링 된 학습 데이터가 주어졌을 때, 분류 신경망을 기존 클래스와 새로운 클래스를 다같이 잘 분류하도록 확장하는 것을 의미한다. 여기서 목표는 기존 클래스들에 대한 성능을 되도록 그대로 유지하면서, 새로운 클래스에 대한 학습을 하는 것이다. 이를 위해 본 파트에서 제안한 방법에서는 메타 러닝을 이용한다. 메타 훈련 단계에서는, 기존 클래스와 새로운 클래스의 쿼리들에 대해 좋은 성능을 보이게끔 그래프 신경망의 파라미터와 기존 클래스에 해당하는 서포트 노드 특징의 초기값을 파라미터로서 학습하게 된다. 제안한 방법은 미니이미지넷 소수 샷 학습 벤치마크에 대해 평가되었으며, 기존 알고리즘들에 비해 향상된 성능을 확인하였다.
