We consider the problem of simultaneously learning multiple sparse representations in the high-dimensional setting, exemplified by Multitask Learning (MTL). We propose a new estimator, which we call Dirty Fusion (DF). DF bridges the gap between dirty models, which decompose parameters into common and model-specific sets, and grouping approaches, which assume models belonging to the same group share the same sparsity pattern or have similar parameter values. DF jointly estimates the model parameters together with their potentially “unclean” group structures, and allows for partial support overlap within each group. We formulate DF estimators as an optimization problem, and incorporate automatic debiasing variables into the learning formulation. We demonstrate the impact of the approach using synthetic and real data.
이 논문에서는 고차원 태스크들의 희박성을 이용한 멀티 태스크 그룹 학습 방법을 다룬다. 여기서는 서포트를 공유하는 태스크의 집합을 그룹으로 간주한다. 이 방법은 태스크의 파라미터를 태스크들이 공유하는 파라미터와 각 태스크 특화 파라미터로 표현하는 Dirty model에 Fusion regularization을 이용하여 최적화 문제로 표현된다. 이 방법은 한 그룹에 속하는 태스크들의 서포트가 완전히 일치하는 경우 뿐만 아니라 태스크들의 서포트가 부분적으로 공유되는 경우에도 학습이 가능하다. 실제 데이터와 가상 데이터 실험
에서 태스크들의 학습 성능 향상을 통해서 이 방법의 효율적이면서 효과적인 그룹 학습에 대한 우수성을 입증한다.
