It is well known that attention plays an important role in human perception [31, 57, 10]. One important property of a human visual system is that one does not attempt to process a whole scene at once. Instead, humans exploit a sequence of partial glimpses and selectively focus on salient parts in order to capture visual structure better [37]. There have been only few attempts to incorporate attention mechanism for improving performance of convolutional neural networks (CNNs) in recognition tasks. In this dissertation, we focus on how to utilize ‘attention mechanism’ in the context of deep CNN design for object recognition. We make the following hypothesis; Assuming CNN as an approximator of a human visual system, adding attention mechanisms within CNN will facilitate the effective feature learning.
We propose a two types of attention-integrated deep CNN: attention in a network backbone and attention in a task specific head. Specifically, we design a simple yet effective attention module called, convolutional block attention module (CBAM) and apply it to both backbone and task specific head of deep CNN. We conduct extensive subjective and objective evaluation and show the efficacy of the proposed method in both types.
인간의 시각 인지에 주의 집중 메커니즘이 아주 중요한 역할을 한다는 것은 익히 알려져 있다 [31, 57, 10]. 인간의 시각 시스템에서 가장 중요한 점은, 장면을 인지할 때 한번에 모든 정보를 처리하는 것이 아니라는 것이다. 대신, 인간은 보다 효과적인 시각처리를 위하여, 연속된 눈의 움직임을 통해 중요한 부분만을 선별적으로 처리한다 [37]. 하지만, 지금까지는 이렇게 인간의 시각시스템에서 중요한 주의 집중 매커니즘을 객체 인식을 위한 컨볼루션 신경망에 적용해보려는 시도가 많지 않았다. 본 석사 학위 논문에서는, 어떻게 주의 집중매커니즘을 객체인식을 위한 깊은 컨볼루션 신경망에 적용할 수 있을지 심도있게 다룬다. 우리는 먼저 다음과 같은 가정을 하였다: 컨볼루션 신경망을 인간의 시각시스템으로 비유하자, 그렇다면 인간의 시각시스템에서 중요한 역할을 담당하고 있는 주의 집중 매커니즘을 컨볼루션 신경망에 도입했을때도 효과적인 피쳐의 학습이 가능치 않을까.
우리는 두 가지 형태의 주의 집중 매커니즘이 결합된 깊은 컨볼루션 신경망을 제안한다: (1)주의 집중매커니즘을 네트워크의 backbone에 도입한 경우 또는 (2)task specific head 에 도입한 경우. 구체적으로, 우리는 간단하면서도 효과적인 주의 집중 모듈, convolutional block attention module (CBAM) 을 개발하였고 이를 네트워크의 backbone 또는 task speciifc head 에 적용하였다. 우리는 많은 정성적, 정량적 실험을 통해 제안하는 방법론들이 상당한 효과가 있음를 보였다.
