All regions where temperatures drop below freezing are experiencing difficulties with black ice. The black ice is thin ice on the road surface and is not black in itself, but it becomes visible as the color of the road surface by transmitting the road color. In other words, although indistinguishable to the human eye, the road surface is very slippery and looks like a general road. Therefore, this road surface poses a danger to all ground moving objects that accelerate or decelerate according to the friction coefficient of the road surface. When acceleration or deceleration is performed without considering the friction coefficient of these road surfaces, slippage occurs in the moving object, and the moving object can move differently from the intention.
Ground-moving objects accelerate or decelerate depending on the friction coefficient of the surface of the road. In this study, in order to provide predictive information of the ground-moving object, a machine learning based solution that estimates the type of road surface via reflected acoustic signals using a pair of transmitters and receivers is provided. All substances have their own acoustic impedance, the value of which varies from substance to substance and frequency to frequency. That is, the sound wave reflected from the road surface embraces the material type features of the surface, and the characteristics differ depending on the frequency of the signal. From these facts, the information in the frequency domain is confirmed by using the short-time Fourier transform on the sound wave signal reflected on the road surface. In addition, this information is used for modeling and classification of machine learning.
In addition the sensors, signal processors and machine learning algorithms are selected to perform these tasks. In order to demonstrate the effectiveness of the proposed method, we conduct an experiment to identify the test pieces made of 4 materials and 12 pieces in different sizes. Here, a method using a short-time Fourier transform and a learning based method of an artificial neural network is used. Not only that, correspondence learning with multi-modal material classification using sound waves and vision information, and a method to prevent false input of artificial intelligence through attention modules have also been proposed, and its effects is demonstrated.
A method for classifying nine road surfaces using short-time Fourier transform and artificial neural network learning method based on the test piece classification method is presented. For that purpose, a method of acquiring a data set in various environments and creating a road surface classification model is described. Not only that, the application method of applying the sensor to the road infrastructure is also introduced. Due to the characteristics of the road infrastructure, a method to solve the problem caused by installing the sensor at a high position is also proposed, and the experimentally proposed method is verified. Here, a method of deceiving an artificial intelligence model learned by using the above-mentioned method of intentionally generating a fraud input and the method of atmospheric attenuation of sound wave are proposed, and its effect is also experimentally verified. An embedded hardware that can obtain road surface information is also manufactured for this experiment, and a data set is acquired for that hardware as well, and is used for training and testing of artificial intelligence.
Since the short-time Fourier transform takes a long conversion time, the real-time property is diminished. While resolving these limitations, a methodology for observing specific frequency components is provided. Utilizing the fact that the cross-correlation function resembles a convolution equation, the received acoustic raw signal is used as an input to a deep convolution neural network without short-time Fourier transform to classify the road surface. Therefore, the effect is experimentally verified by using the above-mentioned obtained road surface signal. Through this proposed method, it is possible to estimate the road surface condition more than 100 times per second.
For this study, more than 10,000 datasets for nine different road surfaces is acquired and efforts are made to obtain signals under various conditions in order to ensure the generality of the trained model. As a result, the obtained road surface information can be used to actively prevent accidents caused by black ice, which is a social problem. In addition, the limit of the regenerative braking system in the electric vehicle can be solved by predictive control, and the limit of the existing anti-lock braking system can be solved. In other words, by predicting the type of the surface of the road to come in advance and using the road surface information for controlling the dynamics of the vehicle, it is possible to improve the performance of the vehicle and ensure safety.
영하의 온도로 내려가는 모든 지역에서는 블랙아이스로 인한 어려움을 겪고있다. 블랙아이스는 노면 위의 얇은 얼음으로 이것 자체가 검은색은 아니지만 빛을 투과함으로 인해 노면의 색으로 보이게 된다. 즉, 인간의 눈으로는 식별 할 수 없는 이 노면은 매우 미끄럽지만 일반 도로처럼 보입니다. 따라서 이 노면은 노면의 마찰 계수에 따라 가속 또는 감속하는 모든 지상 이동 물체에 위험을 주고 있다. 이러한 노면에서 지상 이동 물체가 마찰 계수를 고려치 않고 가감속을 할 경우, 미끄러짐이 발생하여 의도와 다른 동작을 하게 될 수 있다.
지상 이동 물체는 노면의 마찰 계수에 따라 가속 또는 감속한다. 본 연구에서는 이 지상 이동 물체에 예견 정보를 제공하기 위해 한 쌍의 음파 송신기와 수신기를 이용하여 반사된 음파 신호를 통한 노면 종류를 추정하는 기계학습 기반의 방법론을 제안한다. 모든 물질은 고유한 음향 임피던스를 갖고 있고 그 값은 주파수는 물질마다 다르다. 즉, 노면으로부터 반사된 음파는 노면의 물질 정보를 포함하고 있어서 신호의 주파수마다 특성이 다르게 된다. 이러한 사실로부터 노면에 반사된 음파 신호에 단시간 푸리에 변환을 사용하여 주파수 영역 정보를 확인한다. 이 정보는 기계학습의 모델링이나 분류에 사용된다.
이러한 작업을 수행하기 위해 최선의 센서와 신호처리기, 기계학습 알고리즘이 선정된다. 제안된 방법의 효과를 입증하기 위해 먼저 총 4가지 재질로 12개씩 다른 크기로 제작된 시편을 구분하는 실험을 진행한다. 여기서는 단시간 푸리에 변환과 인공신경망 학습법을 이용한 방법이 사용된다. 그뿐만 아니라 음파와 비전 정보를 이용한 멀티 모달 재질 분류 기술과 상호 학습을 통해 인공지능에 대해 가짜 입력을 막는 방법 또한 제안되고 그 효과를 입증한다.
시편 분류 방법을 기본으로 하는 단시간 푸리에 변환과 인공신경망 학습법을 이용한 9가지 노면을 분류하는 방법이 제시된다. 이를 위해서 다양한 환경에서 데이터셋을 확보하여 노면 분류 모델을 만드는 방법론을 설명한다. 뿐만아니라, 센서를 도로 인프라에 적용하는 응용 방법이 소개된다. 도로 인프라의 특성상 높은 위치에 센서를 설치함으로 발생하는 문제를 해결하는 방법 또한 제시되고 실험적으로 제안된 방법에 대한 검증이 진행된다. 여기서는 앞에서 설명한 가짜 입력을 의도적으로 생성하는 방법과 음파의 대기 중 감쇠량 추정법을 이용하여 학습된 인공지능 모델을 속이는 방법이 제안되고, 그 효과도 실험적으로 검증한다. 본 실험을 위해서 노면의 정보를 얻을 수 있는 임베디드 하드웨어가 제작되었고, 그 하드웨어로도 데이터셋을 확보하여 인공지능의 훈련 및 테스트에 사용된다.
위에서 사용된 단시간 푸리에 변환은 변환 시간이 필수불가결 하므로 실시간성이 떨어지게 된다. 이러한 한계를 해결함과 동시에 특정 주파수 성분을 관찰하기 위한 방법론이 제안된다. 상호 상관 함수가 합성곱 식과 매우 비슷하다는 점을 이용하여 수신된 음파 원신호를 단시간 푸리에 변환 없이 깊은 합성곱 신경망에 입력으로 사용하여 노면을 구분한다. 이를 위해 위에서 얻어진 노면 신호를 이용하였고, 그 효과가 실험적으로 검증된다. 이 제안된 방법을 통해서 1초에 100회 이상의 노면 상태 추정이 가능해진다.
본 연구를 위해서 9개의 다른 노면에 대해 6,000개 이상의 데이터셋을 획득하였고, 학습된 모델의 일반성을 확보하기 위해 다양한 조건에서 신호를 얻기 위한 노력을 하였다. 이를 통해 얻은 노면 정보를 이용하여 사회적으로 문제가되는 블랙아이스로 인한 사고를 능동적으로 막을 수 있다. 또한 전기 자동차에서의 회생 제동 시스템의 한계를 예견 제어로 해결하고, 기존 잠김 방지 브레이크 시스템의 한계 해결이 가능해진다. 즉, 다가올 노면의 종류를 미리 추정하여 그 노면 정보를 차량의 동역학 제어에 사용함으로 차량의 성능을 향상시키고 안전을 도모할 수 있다.
