Weakly supervised object localization has recently attracted attention since it aims to identify both class labels and locations of objects by using image-level labels. Most previous methods utilize the activation map corresponding to the highest activation source. Exploiting only one activation map of the highest probability class is often biased into limited regions or sometimes even highlights background regions. To resolve these limitations, we propose to use activation maps, named combinational class activation maps (CCAM), which are linear combinations of activation maps from the highest to the lowest probability class. By using CCAM for localization, we suppress background regions to help highlighting foreground objects more accurately. In addition, we design the network architecture to consider spatial relationships for localizing relevant object regions. Specifically, we integrate non-local modules into an existing base network at both low- and high-level layers. Our final model, named non-local combinational class activation maps (NL-CCAM), obtains superior performance compared to previous methods on representative object localization benchmarks including ILSVRC 2016 and CUB-200-2011. Furthermore, we show that the proposed method has a great capability of generalization by visualizing other datasets.
약지도 물체 위치 검출은 물체 이름 단위의 레이블만을 사용하여 학습한 네트워크가 물체의 이름과 그 위치까지 검출하도록 학습하는 방법으로 최근에 많은 주목을 받고 있다. 약지도 물체 위치 검출을 위해서 기존 대부분의 방법들은 네트워크에서 추론한 가장 높은 확률을 가지는 물체에 대한 활성화맵을 사용하였다. 하지만 가장 높은 확률을 가지는 물체에 대한 활성화맵만 사용하는 것은 물체의 제한된 영역만 검출하거나 배경부분을 검출하는 모습을 보인다. 우리는 이 한계점을 극복하기 위해서 활성화맵을 조합해서 사용하는 CCAM을 제안한다. 이는 가장 높은 확률을 가지는 물체부터 가장 낮은 확률을 가지는 물체에 해당하는 활성화맵의 선형 결합을 이용한 방법이다. 우리는 CCAM이 배경부분을 검출하는 것을 억제하고 물체의 일부가 아닌 많은 영역을 정확하게 검출하는 것을 보인다. 추가적으로 우리는 물체의 전체 영역을 검출하기 위해서 공간 관계를 고려할 수 있는 새로운 네트워크 아키텍쳐를 고안한다. 이 네트워크에는 기존 네트워크의 저수준과 고수준층에 영상의 전체 영역의 픽셀 관계를 이용할 수 있는 논로컬 모듈이 삽입되어 물체와 관련된 많은 부분을 검출할 수 있도록 설계되었다. 우리가 제안한 아키텍쳐에 CCAM을 사용한 최종 모델인 NL-CCAM은 ILSVRC2016과 CUV-200-2011 데이터셋들에 대하여 이전 방법들에 비해 높은 약지도 물체 위치 검출 성능을 보인다. 또한, 우리의 방법은 두 벤치마크에서만이 아닌 다른 데이터셋에서도 일반화 될 수 있음을 보인다.
