Interest in user modeling has surged within the industry due to its ability to create a low-dimensional representation of users by analyzing their previous behaviors. This approach is sought after for delivering personalized services to users. Earlier endeavors in user modeling primarily concentrate on acquiring task-specific user representations tailored to individual tasks. Recognizing the impracticality of developing task-specific user representations for every task, recent research introduces the concept of a universal user representation-a more generalized user representation applicable across a diverse range of tasks. Despite their effectiveness, existing approaches for learning universal user representations are impractical in real-world applications due to the progression of the task, it neglects to consider the passage of time. In this paper, we propose a novel continual user representation learning method, that facilitates positive knowledge transfer between tasks particularly in scenarios where the distribution of data changes over time. The main idea is to introduce a novel selective forward knowledge transfer module with pseudo-representing strategy that successfully alleviates the long-standing problem of continual learning, i.e., catastrophic forgetting. Moreover, we introduce a selective backward knowledge transfer module, which select a user behavior sequence containing a transformed distribution from past tasks enables the adaptation of past tasks to the current data distribution. Extensive experiments on public real-world datasets demonstrate the superiority and practicality of out model.
사용자 모델링에 대한 관심은 사용자의 이전 행동을 분석하여 사용자의 저차원 표현을 생성하는 능력으로 인해 산업 내에서 급증하고 있다. 이러한 접근은 사용자에게 맞춤형 서비스를 제공하기 위해 추구되고 있다. 사용자 모델링에 대한 이전 연구는 주로 각각의 작업에 특화된 사용자 표현을 획득하는데 중점을 두었다. 하지만, 모든 작업에 대해 작업별 사용자 표현을 학습하는 것의 비현실성을 인식하면서, 최근의 연구에서는 여러 작업에 걸쳐 적용 가능한 보다 일반화된 사용자 표현의 개념을 소개하고 있다. 그러나 기존의 일반적인 사용자 표현을 학습하기 위한 접근 방식은 시간의 경과를 고려하지 않아 현업에 적용하기에 어려움이 있다. 본 논문에서는 데이터 분포가 시간에 따라 변하는 시나리오에서 특히 작업 간에 긍정적인 지식 전이를 용이하게 하는 새로운 연속적 사용자 표현 학습 방법을 제안한다. 주요한 아이디어는 연속 학습의 오랜 문제인 파괴적 망각 현상을 성공적으로 완화하는 의사 라벨링 전략을 통한 새로운 선택적 전방 지식 전이 모듈을 도입하는 것이다. 또한, 과거 작업을 최근 데이터 분포에 적응시킬 수 있도록 변형된 분포를 포함하는 사용자 행동 시퀀스를 선택하는 선택적 후방 지식 전이 모듈을 소개한다. 공개된 실제 데이터셋에서 수행된 광범위한 실험은 우리 모델의 우수성과 실용성을 입증한다.
