We propose an interactive shadow removal method, which uses a multi-branch conditional Generative Adversarial Network. In contrast to previous work that drastically change the whole image or change the color of unwanted area of the shadow image, our method preserves semantic information of shadow which leads to a more natural shadow removed image with only a coarse and simple shadow mask annotated by the user. Our multi-branch network generates accurate shadow mask and shadow free image. With skip connection to shadow free generator from shadow mask generator, the network can accurately point where the image should be edited through the network. Moreover, our two discriminators for shadow mask and shadow free image help both shadow mask and shadow free image generator to model higher level semantic information. Extended experiment with a publically available dataset shows that our method signifi cantly improves in both shadow removal and detection compared our method to other state-of-art.
본 논문에서는 생성적 적대 신경망을 사용한 상호작용적 그림자 제거 방법을 제안한다. 우리 방법으로는 사용자의 입력을 받아 그림자를 지우는데 이미지의 시멘틱한 정보를 보전하고 그림자 이외의 영역을 최대한 보전한다. 우리의 멀티-브랜치 네트워크를 사용하면 정확한 그림자 영역을 검출할 수 있을 뿐만 아니라 그림자 제거한 이미지를 얻게 된다. 그림자 검출 브렌치에서 그림자 제거 브렌치로 연결되는 커넉션은 그림자가 위치 정보를 전달해주므로 그림자가 어느 부분에서 제거 되어야하는지 알려준다. 두 판별자 네트워크는 그림자 마스크 그리고 그림자 제거된 이미지가 더 높은 시멘틱 정보를 담도록 모델링 해준다. 공공데이터를 사용한 실험을 통해 우리는 방법을 전 연구에 비해 그림자 제거 그리고 그림자 검출 두가지 방법에서 더 좋은 정량적 결과를 보인다.
