In time series classification tasks, the frequency features of signals depend not only on classes, but also on operating conditions of each class. It is common for operating conditions to change over time in real world, in which case the time series data represents non-stationary characteristic whose frequency features change over time. For the classification of non-stationary time series data, data-driven methods based on the deep learning techniques have been proposed to train deep neural networks on large amounts of non-stationary time series data. However, general deep neural networks utilize a static kernel to extract class-related features from time series data without considering the non-stationarity. The extracted features for the same class can have large variance due to non-stationarity of signals, which can lead to performance degradation. The objective of this study is to develop accurate classification networks for non-stationary time series data using less computational costs by proposing a temporal dynamic convolutional neural network (TDY-CNN) that can consider the non-stationarity. Temporal dynamic convolution utilizes a kernel that adapts to frequency and channel information of each time bin, so it is possible to adapt to time-varying features in the input. The adaptive kernel of temporal dynamic convolution is determined by aggregating basis kernels, but this method has the disadvantage of being vulnerable to overfitting due to high model complexity. A decomposed temporal dynamic convolutional neural network (DTDY-CNN), which determines the adaptive kernel based on a formation of tensor decomposition, is also proposed to reduce model complexity. To verify the feasibility of TDY-CNN and DTDY-CNN for recognition of non-stationary signals, these networks are applied to two recognition tasks utilizing non-stationary signals: text-independent speaker verification and bearing fault diagnosis under time-varying rotational speed condition. For the text-independent speaker verification task, each speaker has a unique vocal organ, but the frequency characteristics of speech over time depending on the spoken sentence and phonetic configuration. For the bearing fault diagnosis task, despite the fact that rotating structures have fixed bearing faults, the fault frequency changes with rotational speed as well as fault types. The proposed TDY-CNN and DTDY-CNN outperforms vanilla convolution-based networks and state-of-the-art networks on these two tasks despite utilizing fewer or similar network parameters and computational costs. The temporal dynamic convolutions are effective for longer inputs and earlier layers of networks, where non-stationarity is prominent. Based on the analysis of distance between kernels, this study verifies that the kernel changes depending on the time-varying phonemes and rotational speed, which are the causes of non-stationarity. In addition, the results of gradient-weighted class activation mapping (Grad-CAM) show that the kernel of vanilla convolution extracts features from the overall frequency region, while the kernel of temporal dynamic convolution extracts features from detailed frequency patterns, such as formant frequencies in speech and harmonic components in vibration signals. These application results demonstrate that the temporal dynamic convolutional neural networks can improve recognition performance by considering non-stationarity using a kernel that adapts to the frequency patterns related to time-varying operation conditions at each time bin.
시계열 데이터를 활용한 분류 시스템은 인식 대상에서 계측된 신호의 주파수 특성을 구분해야 하지만, 주파수 특성은 인식 대상 간의 물리적 차이 뿐만 아니라 인식 대상의 시변 구동 조건에 따라 다르게 나타난다. 그러므로 동일 인식 대상에 대한 계측 신호는 비정상성을 나타내며, 모델 크기 및 연산량을 유지한 채 효율적으로 인식 성능을 향상시키기 위해서는 시간에 따른 주파수 특성의 변화를 고려하여 인식을 수행해야한다. 본 연구에서는 시간 동적 커널 기반 합성곱 신경망 (TDY-CNN: Temporal-Dynamic Convolutional Neural Network)을 신규 제안하여 시간에 따른 주파수 특성의 변화를 동적으로 추종하여 인식할 수 있는 모델을 제안한다. 시간 동적 커널 기반 합성곱은 입력 신호의 비정상성에 대응하여 시간에 따라 변화하는 커널을 활용하여 특징을 추출한다. 커널은 시변하는 주파수 및 채널 정보를 활용하여 생성된다. 본 네트워크는 비정상성을 지닌 신호를 활용하는 문장 독립형 화자 인식과 변속 조건에서의 베어링 고장 진단에 적용되어 검증된다. 시간 동적 커널 기반 합성곱 신경망은 정적 커널 기반 합성곱을 활용하는 신경망과 비교하여 유사한 모델 크기 및 연산량으로 화자 검증의 성능을 16% 향상시키고 고장 진단의 성능을 평균 13% 향상시켰다. 최신 성능 모델과 비교하여 5.7% 좋은 화자검증 성능과 평균 3.2% 좋은 고장진단 성능을 나타내었다. 또한, 성능향상 원인에 대한 상세 분석을 통해, 시간 동적 커널 기반 합성곱의 커널이 비정상성을 유발하는 음소의 음향학적 특성과 회전체 속도에 적응하여 화자와 고장 정보를 추출함을 입증하였다. 그리고, 경사 기반 클래스 활성화 매핑(Grad-CAM: Gradient-weighted Class Activation Mapping)을 적용하여 취득한 활성화 맵을 통해, 커널이 시변하는 음소의 포만트 주파수와 회전 및 고장 주파수의 배음으로부터 화자 및 고장 특징을 추출함을 확인하였다. 제안 네트워크로 추출된 각 시간 포인트에 대한 임베딩은 화자 및 고장 분류 능력이 기존 네트워크보다 뛰어났다. 인식 및 커널 가변 경향성 결과를 기반으로 제안하는 시간 동적 커널 기반 합성곱 신경망이 입력 신호의 비정상성에 적응하여 분류 능력이 뛰어난 정확한 임베딩을 추출함으로써 분류 성능을 향상시킬 수 있음을 검증하였다.
