Although suppressing negative transfer between tasks has been a critical challenge for multi-task learning, previous approaches have dealt with multi-task architecture and optimization strategies separately for the purpose. Instead, I propose connection strength-based optimization with progressive multi-modal feature exchange as a combined method for reducing task interference by (i) conserving each task’s feature space in a shared network, and (ii) facilitating inter-task information flow in feature level. I reinterpret the connection strength, a well-known concept in network compression, to determine which channel of the shared convolutional layer has a dominant influence on each task. Based on connection strength, the proposed optimization method projects each task’s gradient to prevent a specific task from exerting a dominant influence on the entire network by intruding on other tasks’ space. Then, these conserved features are progressively forwarded and mixed in a stage-by-stage manner from a shared single-tasking backbone, so that the network fully utilizes inter-task information by exchanging task-specific features. I propose an integrated method that conserves tasks feature space, enabling hard parameter sharing with minimized task interference and allowing it to be used for multi-modal feature exchange. Experiments demonstrate the validity of proposed methods on several dense-prediction tasks by achieving state-of-the- art performances.
수행 작업 간에 나타나는 부정적 전이 현상을 억제하는 것은 다중 작업 학습에서 중요하게 다뤄온 목표 중 하나이지만, 기존 접근법들은 해당 목적을 달성하기 위하여 다중 작업 아키텍처와 최적화를 분리하여 접근하는 방식을 취해왔다. 그 대신, 본 논문에서는 아키텍처-최적화가 결합한 방법으로써 연결 강도 기반 최적화와 점진적 다중 양식 특징 교환을 제안하였고, 이를 통해 (i) 공유되는 네트워크에서 각 작업의 특징 공간을 보존하고, (ii) 특징 단계에서의 정보 교환 흐름을 촉진함으로써 작업 간 간섭을 최소화하고자 한다. 네트워크 경량화 분야에서 알려진 연결 강도를 재해석하여 공유되는 합성곱 층의 어떤 채널이 각 작업에 지배적인 영향력을 행사하는지를 결정한다. 이 연결 강도를 기반으로, 우리가 제안하는 최적화 기법은 각 작업의 기울기 벡터를 투사하여, 특정 작업이 다른 작업 공간을 침범함으로써 전체 네트워크에 지배적인 영향력을 행사하는 것을 방지한다. 그리고, 보존된 특징들을 공유되는 단일 태스킹 백본망에서 단계적, 점진적으로 전송하고 교환함으로써 네트워크가 작업별 특징을 교환하고, 작업 간 정보를 최대한 활용할 수 있도록 한다. 본 논문에서는 작업 간 간섭을 최소화하면서 네트워크의 파라미터 공유를 가능하게 하기 위해 각 작업의 특징 공간을 보존하고, 보존된 특징들이 다중 양식 특징 교환에 이용될 수 있도록 하는 통합된 방법을 제시하고자 한다. 마지막으로 실험을 통하여 몇 가지 밀집 예측 작업에서 최고 성능을 달성함으로써 제안한 방법의 유효성을 입증하였다.
