Even though Generative Adversarial Networks (GANs) have shown a remarkable ability to generate high- quality images, GANs do not always guarantee the generation of photorealistic images. Occasionally, they generate images that have defective or unnatural objects, which are referred to as ‘artifacts’. Research to investigate why these artifacts emerge and how they can be detected and removed has yet to be sufficiently carried out. To analyze this, we first hypothesize that rarely activated neurons and frequently activated neurons have different purposes and responsibilities for the progress of generating images. In this study, by analyzing the statistics and the roles for those neurons, we empirically show that rarely activated neurons are related to the failure results of making diverse objects and inducing artifacts. In addition, we suggest a correction method, called ‘Sequential Ablation’, to repair the defective part of the generated images without high computational cost and manual efforts.
최근 적대적 생성 네트워크 (GANs) 가 고화질 이미지 생성에서 놀라운 성능을 보여주고있지만, 적대적 생성 네트워크가 항상 실제 사진같은 생성을 보장하지는 않는다. 때때로 아티팩트라 불리는 결함이 있거나 부자연스러운 이미지를 생성한다. 왜 이런 아티팩트가 생기는지 그리고 어떻게 아티팩트를 감지하고 제거할 수 있는지에 대한 연구는 아직 충분히 수행되어오지 않았다. 이 논문에서는 아티팩트에 대한 분석을 위해 드물게 활성화되는 뉴런들과 자주 활성화되는 뉴런들이 이미지 생성 과정에서 각각 다른 목적과 역할이 있다고 가정한다. 각 뉴련들에 대한 통계치와 역할을 분석함으로써, 드물게 활성화되는 뉴련들이 다양한 물체를 만들려다 실패한 것과 아티팩트에 연관이 있는것을 실험적으로 보인다. 또한 앞의 관측을 통하여 생성 이미지에서 결함이 있는 부분을 수리하는 ‘연쇄적 제거’ 방법을 제안한다.
