Incremental learning is drawing attention to widen capabilities of device-AI. Previous works have researched to reduce numerous computations and memory accesses required for the training process of IL, but they could not show a noticeable improvement in the weight gradient computation (WGC) phase. Therefore, a selective weight update technique that searches for critical weights to be updated is pro-posed by applying the IL algorithm that training per-task binary masks. Also, a novel dataflow for the implementation of selective WGC is introduced on typical NPUs with minimum overheads. On average, the proposed system shows a 2.91x speed up and 2.48x energy efficiency in WGC without degrading training quality.
증분 학습은 디바이스 내 인공지능의 기능을 넓히는 데 관심을 끌고 있다. 이전 연구는 증분 학습의 훈련 과정에 필요한 수많은 계산과 메모리 액세스를 줄이기 위해 연구되었지만 웨이트 그래디언트 연산 단계에서 눈에 띄는 개선을 보여주지는 못했다. 따라서 작업 별 이진 마스크를 학습하는 증분 학습 알고리즘을 적용하여 업데이트 되어야 할 웨이트를 찾는 선택적 웨이트 업데이트 기술을 제안한다. 또한 최소한의 오버 헤드로 일반적인 뉴럴 프로세서 유닛에서 선택적 웨이트 그래디언트 연산을 구현하기 위한 새로운 데이터 흐름을 소개한다. 제안된 시스템은 학습 효율 저하 없이 웨이트 그래디언트 연산에서 평균 2.91배의 속도 및 2.48배의 에너지 효율을 보여준다.
