Scene graph generation is the task of detecting objects and their pairwise visual relationships in an image. This task is challenging because it requires not only detecting object instances of various categories but also high-level understandings of visual relation. Besides accurate object detection, a high-performance predicate classifier is critical for an applicable scene graph generation model for real-world systems. To the best of our knowledge, all prior works in scene graph generation align a union region of two objects and flatten it into a vector without any processing in the middle. In this work, we propose a Union Region Attention module to focus on objects and the interaction between them in union image regions. Namely, this module generates a spatial attention mask for the union region of two objects by using embedding features from their labels, appearances, and spatial configuration. The mask puts higher weights on important points of objects than irrelevant points in the union region. Despite its simplicity, the model with our proposed module outperforms other state-of-the-art predicate prediction methods. Experiments on Visual Genome confirm the efficacy of our module. We also conduct ablation studies to provide insight into the operation of each component of our union region attention module.
장면 그래프 생성은 영상 내 객체와, 객체 쌍의 시각적 관계를 검출하는 과제이다. 이 과제는 다양한 카테고리의 객체를 검출할 뿐만 아니라, 시각적 관계에 대한 높은 이해를 필요로 하기 때문에 어렵다. 정확한 객체 탐지 이외에도, 고성능의 술어 분류기는 실생활에 적용 가능한 장면 그래프 생성 모델에 있어 중요하다. 장면 그래프 생성의 모든 이전 연구들은 두 객체의 합집합 영역을 정렬하고, 중간에 어떤 과정도 없이 그것을 벡터로 평평하게 만든다. 본 논문에서, 우리는 객체와 그들 사이의 상호작용에 집중하는 합집합 영역 집중 모듈을 제안한다. 즉, 이 모듈은 두 객체의 라벨, 생김새, 공간적 관계 이해로부터 임베딩한 특징을 사용해, 두 객체의 합집합 영역에 대한 공간 집중 마스크를 생성한다. 마스크는 합집합 영역에서 두 객체의 관련이 없는 지점 보다는 중요한 지점에 높은 가중치를 부여한다. 이런 단순함에도 불구하고, 제안한 모듈이 있는 모델은 다른 최고 성능의 술어 예측 방법들을 능가한다. Visual Genome에 대한 실험은 우리 모듈의 효능을 확인해 준다. 우리는 또한 합집합 영역 집중 모듈의 각 구성 요소의 운영에 대한 통찰력을 제공하기 위해 추가 분석을 수행한다.
