As technology advances, services to prevent vehicle-pedestrian collisions at intersections are undergoing various changes, ranging from adding arrows to a sensor-based braking system that automatically decelerates when a vehicle is expected to collide with a pedestrian in front. However, driver distraction cause collision and automatic emergency braking systems often fail when pedestrians are outside the sensor's range, especially in urban intersections. To compensate for problems with existing systems, the next-generation Cooperative-Intelligent Transport System (C-ITS) is established and Pedestrian Collision Warning Service (PCWS) is introduced to prevent pedestrian-vehicle collisions preemptively.
PCWS prevents pedestrian and vehicle collision by transmitting detected pedestrian information to the vehicle in real time through pedestrian detectors installed at intersections. Since it is a safety service that requires immediate warning to vehicles approaching the intersection, the process from detection to warning should be carried out in real time. However, for commercialization, there are many problems that need to be solved, such as securing reliability of pedestrian detection, classification and communication latency.
Therefore, we first conduct a risk assessment on the current pedestrian collision warning service, which is actively conducting empirical studies in local government, and explore the direction of development. As a method for this, we propose a risk assessment based on Functional Resonance Analysis Method (FRAM), which is a well-established systemic method that describes the system through functions, couplings, and variability. We conduct expert evaluations and quantitative variability simulation to evaluate the relative risk level in the system and derive strategies to increase the performance. PCWS should ensure safety by lowering the possibility of collision between vehicles and pedestrians as much as possible. However, even if a warning is made in real time based on pedestrian information on crosswalks, chances are high that the collision cannot be avoided due to insufficient avoidance time. Thus, we devise a method to predict the crossing intention of pedestrians before crossing and provide potential collision warnings to approach vehicles, which we call Predictive Pedestrian Collision Warning Service (P2CWS).
Previous studies to predict pedestrian crossing intention have utilized various variables, including pedestrian location, speed, pedestrian signal, and speed of surrounding vehicles. In this study, we set head orientation as an additional variable that confirms the presence of vehicles approached by pedestrians. For comparative analysis of performance with or without head orientation, we validate the performance with real traffic scene data and confirm that considering head orientation shows better performance for pedestrian crossing prediction. Secondly, in order for predictive warning services to be commercialized in C-ITS, all processes must be done in real time. We develop an image processing-based framework that allows real-time extraction of all features before crossing. In particular, we demonstrate high accuracy using 3D pose estimation to extract pedestrian head and body orientation and extract all features at a rate of 100.53 fps that they are suitable for real-time service.
Finally, we develop P2CWS that consists of a real-time feature extraction system through an image processing framework and a pedestrian crossing intention prediction system of various machine learning models. Real-time extraction features are divided into Pedestrian Features, Vehicle to Pedestrian Interaction and Environmental Contexts. The extracted features have been utilized to predict pedestrian intention through various machine learning models. To verify the performance of P2CWS, 458 pedestrian data were actually collected at the right-turning intersection in Yuseong-gu, Daejeon. As a result, we predicted pedestrian crossing intention in real time (35.76 fps) and showed high accuracy of 93.28%.
We develop vision-based predictive pedestrian collision warning services through risk assessment of cooperative-intelligent transportation system. The service, which preemptively prevents collision by predicting pedestrians' crossing intentions, is expected to contribute to autonomous driving in the future by helping to secure pedestrian safety in the city and establish cooperative-intelligent transportation system without accident threats.
기술이 진보함에 따라 교차로에서의 차량-보행자간 충돌을 방지하기 위한 서비스는 신호등에 화살표를 추가하는 방법부터 센서 기반의 자동긴급제동시스템(AEBS: Autonomous Emergency Braking System)을 활용해 차량이 전방의 보행자와 충돌을 예상시 자동으로 감속하는 시스템까지 다양한 변화를 겪고 있다. 하지만 운전자의 부주의 혹은 보행자가 센서의 범위 밖에 있을 때는 자동긴급제동시스템이 제대로 작동되지 않는 경우가 많으며, 특히 도심부 교차로에서는 크고 넓은 건물, 복잡한 기하 구조 및 다양한 이동 객체 등으로 인한 시계 불량으로 보행자와의 충돌을 예방하는데 한계가 있다. 이에 기존 시스템들의 문제점을 보완하고자 차세대 지능형교통시스템 (C-ITS: Cooperative-Intelligent Transport System)을 구축함과 동시에 보행자와 차량의 충돌을 선제적으로 방지하기 위한 보행자 충돌 경고 서비스 (PCWS: Pedestrian Collision Warning Service)를 선보였다.
보행자 충돌 경고 서비스는 교차로에 기 설치되어 있는 보행자 검지기를 통해 감지된 보행자 정보를 차량에게 실시간으로 경고를 전달함으로써 보행자와 차량의 사고를 예방한다. 교차로에 접근하는 차량에게 즉시 경고를 보내야 하는 안전 서비스이기에 감지부터 경고까지의 과정이 실시간으로 수행되어야 한다. 하지만, 보행자 감지 및 분류 기술의 신뢰성 확보, 통신 지연 시간 발생 등 해결할 문제가 많아 상용화까지는 아직 많은 과제가 남아있다.
따라서 본 연구에서는 각 지자체에서 실증 연구를 진행하고 있는 현 보행자 충돌 경고 서비스에 대한 안전 분석을 실시하여 발전 방향성을 모색하고자 하였으며 이를 위해 기능변동성파급효과분석법 (FRAM: Functional Resonance Analysis Method) 기반의 위험성 평가 방법을 제안하였다. FRAM은 기능의 변동성을 활용하여 복잡하고 비선형적인 시스템을 분석하는 효과적인 시스템 안전 분석 방법론이다. 시스템 내 상대적인 위험 수준을 평가하기 위해 전문가 평가와 정량적 변동성 시뮬레이션을 통해 시스템 내 상대적인 위험 수준을 평가하였고 보행자 충돌 경고 서비스의 성능을 높이기 위한 전략을 제시하였다. 보행자 충돌 경고 서비스는 차량과 보행자의 상충 가능성을 최대한 낮춰 안전성을 확보해야 한다. 그러나 횡단보도 상의 보행자 정보를 기반으로 실시간으로 경고하더라도 회피 시간이 충분치 못해 충돌을 피하지 못할 확률이 높다. 이에 횡단 이전 보행자의 횡단 의도를 예측하고 접근 차량에 잠재적 충돌 경고를 제공하는 방법을 고안하였고 이를 예측형 보행자 충돌 경고 서비스 (P2CWS: Predictive Pedestrian Collision Warning Service)라 명명하였다.
보행자의 횡단 의도를 예측하기 위한 기존 연구들은 보행자의 위치, 속도, 보행 신호, 주변 차량의 속도 등 다양한 변수들을 활용하였다. 본 연구에서는 이에 더해 보행자가 접근하는 차량의 존재 유무를 확인했다는 것을 회두 여부를 추가 변수로 설정하였다. 보행자의 회두 여부 유무에 따른 성능 비교 분석을 위해 실제 보행자 데이터로 성능을 검증하였으며 그 결과 보행자의 회두 여부를 고려하는 것이 보행자 횡단 예측에 더 우수한 성능을 나타내는 것을 확인하였다. 둘째로, 예측형 경고 서비스가 차세대 지능형교통시스템에서 상용화되기 위해서는 모든 과정이 실시간으로 행해져야 한다. 이를 위해 횡단 이전 보행자의 방향성, 위치, 속도, 회두 여부에 따른 접근 차량의 인지 및 차량의 위치, 속도 그리고 횡단보도까지의 거리 등의 특성들을 실시간으로 추출할 수 있는 컴퓨터 영상 처리 기술 기반의 프레임워크를 개발하였다. 특히, 보행자의 머리와 몸의 방향성을 추출하기 위해 3D 포즈 추정 기술을 사용하여 높은 정확도를 나타냈으며 모든 특성들을 100.53 fps로 추출함으로써 실시간 서비스에 적합한 점을 확인하였다.
마지막으로 보행자의 횡단 의도를 실시간으로 예측하기 위한 P2CWS를 개발하였다. P2CWS는 영상 처리 프레임워크를 통한 실시간 특성 추출 시스템과 다양한 기계 학습 모델의 보행자 횡단 의도 예측 시스템으로 이루어져 있다. 실시간으로 추출하는 특성들은 보행자 특성 (Pedestrian Features), 차량 대 보행자 상호 작용 (Vehicle to Pedestrian Interaction), 주변 환경 정보 (Environmental Contexts)로 구분하였으며 총 12개의 정보로 구성되어 있다. 추출된 특성들은 다양한 기계 학습 (Machine Learning) 모델들을 통해 보행자의 횡단 의도를 예측하였다. P2CWS의 성능을 검증하기 위해 대전광역시 유성구의 우회전 교차로에서 458명의 보행자 데이터를 실제로 수집하였으며 해당 데이터를 토대로 보행자의 횡단 의도를 예측하였다. 그 결과 실시간 (35.76fps)으로 보행자의 횡단 의도를 예측하였으며 93.28%의 높은 정확도를 나타냈다.
본 연구에서는 차세대 지능형 교통시스템의 위험성 평가를 통해 비전 기반의 예측형 보행자 충돌 경고 서비스를 개발하였다. 보행자의 횡단 의도를 예측하여 선제적으로 충돌을 방지하는 서비스는 도심 내 보행자 안전성을 확보함과 동시에 사고 위협 없는 차세대 지능형 교통시스템을 구축하는 데 일조하여 향후 완전한 형태의 자율 주행에 기여할 것으로 전망된다.
