Performance improvement and statistical behavior analysis of stochastic gradient-based algorithms for adaptive filters are studied in this thesis, where we are mainly concerned with the least mean square (LMS) algorithm and three computationally simplified versions of the LMS algorithm: the signed-error algorithm, the signed-regressor algorithm and the sign-sign algorithm which are obtained by clipping the estimation error signal, the reference input data and both of them, respectively.
In the first half of this thesis, analyzing the statistical behaviors of the signed-regressor and the sign-sign algorithms for adaptive transversal filters with correlated Gaussian data, we get propagation equations for the first and second moments of the filter coefficients and stability conditions of the propagation equations derived. And also we derived relationships between the step size and the mean square error in the steady state for each algorithm. Comparing the new results derived for the signed-regressor and the sign-sign algorithms with the previous ones for the signed-error and the LMS algorithms, we observe some impressive properties: analogies between the signed-error algorithm and the signed-regressor algorithm; similarities among the expressions for the statistical behaviors of the four algorithms; relative performance among the four algorithms in the convergence rate and the steady-state misadjustment.
In the last half, we suggest two methodologies to improve the performance of adaptive filters, and we derive new algorithms with the fast convergence in the transient phase and the low misadjustment in the steady state based on the suggested methods. We evaluate the expressions for the statistical behaviors of the new algorithms, and also we find relationships between the steady-state error and the step size or corresponding parameters. Applying the method of modification of the error-performance surface, the first methodology suggested, we get a new steepest descent algorithm and its improved version. Employing an additional adaptation mechanism for adjusting the step size is the second methodology. We realize the philosophy by using the feedback of the estimation errors and, as an example, apply it to the signed-error algorithm.
The analytical results and the performances of the new algorithms are numerically verified through computer simulations for the adaptive linear predictor, system identification and adaptive equalizer examples. From various simulation results, we observe followings: the theoretical equations are predicting very closely the empirical responses even though the input data are highly correlated; the newly porposed algorithms are superior to the conventional algorithms both in the convergence rate and in the steady-state misadjustment.
본 논문은 통계적 경사도법(method of stochastic gradient descent)을 바탕으로 한 적응여파 알고리즘의 성능 개선 및 통계적 거동 해석에 대해 다루며, 최소평균제곱(LMS: least mean square) 알고리즘과 LMS 알고리즘에서 경사도 계산을 간략하게 하기 위하여 추정오차의 부호만을 이용하는 오차-부호 알고리즘(signed-error algorithm), 기준 입력 신호의 부호만을 이용하는 입력-부호 알고리즘(signed-regressor algorithm) 및 기준 입력 신호와 여파기의 추정오차 모두에 대하여 부호만을 사용한 부호-부호 알고리즘(sign-sign algorithm)을 주 연구대상으로 한다.
논문의 전반부에서는 상호결합이 있는 가우시안 입력신호에 대하여 입력-부호 알고리즘과 부호-부호 알고리즘의 통계적 거동을 해석한다. 먼저 각 알고리즘에 대하여 여파기 계수의 평균 및 평균제곱 거동을 기술하는 동적 방정식을 유도하고, 유도된 동적 방정식의 안정도 조건을 찾은 다음에, 정상상태에서의 보폭과 평균제곱오차(mean square error) 혹은 미조정률(misadjustment) 사이의 관계를 수식적으로 규명한다. 입력-부호 알고리즘과 부호-부호 알고리즘에 대한 해석 결과를 오차-부호 알고리즘 및 LMS 알고리즘에 대한 기존의 결과와 비교 분석하여 오차-부호 알고리즘과 입력-부호 알고리즘 간의 긴밀한 유사성(analogy), 네가지 알고리즘에 대한 통계적 거동을 기술하는 동력학 간의 관계 및 각 알고리즘사이의 수렴속도와 정상상태 오차에 대한 상대적인 성능에 대해 규명한다.
논문의 후반부에서는 기존 알고리즘의 성능을 개선하기 위한 두가지 방법론으로 오차-성능 곡면(error-performance surface)을 통계적 경사도법에 보다 적합하도록 수정하는 방법과 적응여파 시스템의 제어상수에 해당하는 보폭을 여파기의 학습 정도에 따라 자동적으로 조절하기 위한 추가적인 적응기구를 사용하는 방법을 제시하고, 제시된 각 방법론에 따라 수렴속도와 오차특성이 개선된 새로운 알고리즘들을 고안한다. 다음에 새로 만들어진 각 알고리즘의 통계적 거동을 해석하여 여파기 계수 뿐만 아니라 보폭의 평균 및 평균제곱 거동식을 유도하고, 보폭 혹은 보폭에 대응되는 설계상수와 정상상태 오차 사이의 관계를 규명한다.
기존의 입력-부호 알고리즘, 부호-부호 알고리즘 및 새로 고안된 알고리즘들에 대한 이론적인 해석결과와 새 알고리즘들의 수렴 및 오차 성능을 수치적으로 확인하기 위하여 선형 예측기(linear predictor), 시스템 동정화(system identification) 및 적응 등화기(adaptive equalizer) 등의 예제 문제에 대한 시뮬레이션을 수행하였다. 각각의 시뮬레이션 결과는 이론해석에 의한 예측 값과 매우 잘 일치하였으며, 특히 입력신호의 상관 정도가 매우 심한 경우에도 이론치에 의한 예측은 정확하였다. 또한 새로 제시된 알고리즘들은 기존의 비교 대상 알고리즘에 비하여 천이영역에서의 수렴속도가 빠르고, 정상상태에서의 오차 특성도 우수함을 밝혔다.
