DL models working on AMI streaming data presents the problem of concept drift, in which the data distribution changes over time. This phenomenon might lead to performance degradation in the DL processing. Updating models should therefore be required to maintain a high performance. Until now, there have been several online learning systems that support automatic updates. However, the common problem of existing approaches is that they do not consider the factors affecting the training efficiency, particularly in the occurrence of the concept drift.
In this thesis, we address the problem by developing an adaptive online learning system, taking into account the concept drift and batch size effects on the model training. We basically proposed a light-weight concept drift detection method using the cosine similarity and sliding windows. The model training is then performed with the consideration of the drift detection for each update. Specifically, when no concept drift occurs, the model is trained without early stopping to ensure a good convergence on the new data. Otherwise, early stopping is applied to reduce the training cost. In addition, we proposed an adaptive batch size algorithm as an improvement of the existing method, with simpler metrics and objective function, yet more efficient. The objective of this algorithm is to find an optimal batch size for each update to make a trade-off for the prediction accuracy and data incorporation latency.
To verify our proposed algorithms, we implemented our online learning system on Apache Kafka cluster system, which enables processing a large amount of AMI streaming data. In the evaluation task, we conducted experiments using AMI data from 2015 to 2018, and measured the training loss, inference error, and test loss. The experimental results showed our system performance was better than Continuum (r = 4), and comparable to Accelerated Streaming Data Processing.
AMI 스트리밍 데이터에서 작업하는 DL 모델은 시간이 지남에 따라 데이터 분포가 변경되는 개념 편차 문제를 나타냅니다. 이 현상으로 인해 DL 처리 성능이 저하 될 수 있습니다. 따라서 고성능을 유지하려면 모델을 업데이트해야합니다. 지금까지 자동 업데이트를 지원하는 여러 온라인 학습 시스템이있었습니다. 그러나 기존 접근 방식의 일반적인 문제는 특히 개념 드리프트 발생시 훈련 효율성에 영향을 미치는 요소를 고려하지 않는다는 것입니다.
이 논문에서 우리는 모델 훈련에 대한 개념 드리프트 및 배치 크기 효과를 고려하여 적응 형 온라인 학습 시스템을 개발하여 문제를 해결합니다. 우리는 기본적으로 코사인 유사성과 슬라이딩 윈도우를 사용하는 경량 개념 드리프트 검출 방법을 제안했습니다. 그런 다음 각 업데이트에 대한 드리프트 감지를 고려하여 모델 교육을 수행합니다. 특히 개념 드리프트가 발생하지 않으면 새 데이터에 대한 적절한 수렴을 보장하기 위해 모델이 조기 중지없이 학습됩니다. 그렇지 않으면 훈련 비용을 줄이기 위해 조기 중지가 적용됩니다. 또한, 우리는 더 간단한 메트릭스와 목적 함수를 통해보다 효율적인 기존 방법의 개선으로 적응 형 배치 크기 알고리즘을 제안했습니다. 이 알고리즘의 목적은 예측 정확도 및 데이터 통합 대기 시간에 대한 절충을 위해 각 업데이트에 대한 최적의 배치 크기를 찾는 것입니다.
제안 된 알고리즘을 확인하기 위해 Apache Kafka 클러스터 시스템에 온라인 학습 시스템을 구현하여 대량의 AMI 스트리밍 데이터를 처리 할 수 있습니다. 평가 작업에서는 2015 년부터 2018 년까지 AMI 데이터를 사용하여 실험을 수행하고 훈련 손실, 추론 오류 및 테스트 손실을 측정했습니다. 실험 결과는 시스템 성능이 Continuum보다 우수하고 (r = 4) 가속 스트리밍 데이터 처리와 비교할 수 있음을 보여줍니다
