Although the technological advancement of smart city infrastructure has significantly improved quality of our lives, road traffic accidents still pose a severe threat to human lives and have become a leading cause of premature deaths, making it a pressing current transportation concern. In particular, crosswalks are essential for pedestrians, but they are also a major threat. Nevertheless, we lack dense behavioral data to understand their risks faced by pedestrians crossing. In addition, the current traffic safety systems to protect the vulnerable road users (VRUs) rely on actual traffic accident history and collision statistics to determine the improvement of an urban environment post-facto. However, traffic accident events practically occur very rarely in usual traffic environments, so there is a limit to preventing traffic accidents by analyzing them. Therefore, it is necessary to derive analytical means for the safety assessment of pedestrians and the improvement of urban environment in proactive manner, not post-facto.
Recently, with the rapid development of video processing and artificial intelligence technologies, much research has been conducted on vision-based traffic safety system using CCTVs. However, since most CCTVs record the video in oblique views, it is difficult to obtain object’s precise coordinates and behavioral features such as velocities and positions in automatics. Many studies have manually extracted them by human observations. Thus, it requires inefficiently costly and high time-consuming to do at the urban scale, so we seek to develop automated processes that generate useful data for potential risk analysis.
To sum up, the current traffic safety systems have two issues: (1) a lack of analysis tools and prediction systems with the appropriate traffic accident data and various information to draw the solid and comprehensive conclusions for improving pedestrian safety; and (2) requiring the high cost and time-consuming to obtain the useful data from video footage for potential risk analysis at the urban scale.
To address these challenges, this study proposes a new designed big data processing framework for potential traffic risk analysis and prediction. The proposed framework mainly consists of 1) a traffic video processing engine; and 2) potential traffic risk analysis and prediction. First, the traffic video processing engine aims to automate the process of extracting behavioral features from video and create one sequential process. Second, in the potential traffic risk analysis and prediction step, potential risk patterns are derived from the extracted vehicle’s and pedestrian’s behavioral features, and then it provides information on collision risks in advance through predicting their trajectories in real-time.
In detail, the traffic video processing engine conducts partitioning video stream into video clips defined as a motioned-scene, detecting and segmenting traffic-related objects, generating their trajectories, and extracting their behavioral features in automatic as a one sequential process. The extracted behavioral features are stored in the form of a relation database for accessibility and ease of analysis of the data.
Next, in the potential traffic risk analysis and prediction section, we first analyze vehicle-pedestrian interactions in snapshot level and scene level according to the characteristics of video. The snapshot level analysis handles the instantaneous interaction between vehicle and pedestrian by using data mining techniques to classify the severities of potential risk and derive rules about potential risks. On the other hand, in scene level analysis, we conduct to analyze behavioral feature changes by time and design a data cube model, called SafeyCube, based on a large amount of vehicle-pedestrian interactions in multiple spots and during the long-term period. In this analysis, we can conduct multi-dimensional analysis by OLAP operations with varying levels of abstractions. In addition, with visualizing the results, it makes easier for decision makers to obtain valuable information, such as potential risk patterns and risk-prone areas, enabling preemptive urban environmental improvements that do not depend on the accident history.
Meanwhile, second part of the potential traffic risk analysis and prediction section is responsible for estimating a predictive potential risky area. In this part, we predict the trajectories of vehicle and pedestrian, and estimate the predictive risky boundaries based on deep learning and statistical inference. It can provide the collision warning in advance with driver and pedestrian through real-time manner. In addition, it proactively prevents traffic accidents rather than post-facto by measuring severity of potential risk in quantitative assessment. Furthermore, we believe that it can serve as part of safety services in C-ITS, next generation transportation system, by combining with communication technologies.
The proposed framework in this dissertation enables decision-makers to gain a better understanding of how the vehicles and pedestrians behave near the crosswalk, and provide them with insights to improve the road environment safer.
최근 과학기술의 발전에 따라 우리 삶의 질은 크게 향상되었지만, 그에 비해 교통사고는 여전히 주요 사망 원인으로 남아 있다. 이는 교통 안전 분야에서 반드시 해결해야 할 과제 중 하나이다. 특히, 횡단보도는 보행자에게 반드시 필요한 요소이지만, 큰 위협을 주는 요소이기도 하다. 횡단하는 보행자가 직면한 위험을 파악하기 위한 행동 데이터를 모으고 정밀하게 분석하는 연구가 부족하다. 또한, 현재의 교통 약자(Vulnerable Road User, VRU)를 보호하기 위한 교통안전 시스템은 실제 교통사고 기록에 의존하는 사후 처리의 방식으로 연구된다. 하지만 실제적으로 교통 사고 이벤트는 정상적인 교통 환경에서 매우 드물게 발생하기 때문에 정상적인 교통 환경을 분석하여 교통사고를 예방하기에는 한계가 있다. 따라서, 사후 처리의 형태가 아닌 선제적으로 보행자의 안전성 평가 및 도시 환경 개선을 위한 분석 결과를 도출해내는 방법이 필요하다.
최근 딥 러닝 등과 같은 영상 정보를 빠르고 지능적으로 처리할 수 있는 기술이 발전함에 따라, CCTV 등을 활용한 영상 정보 기반의 교통 안전 시스템에 관한 연구가 활발히 이루어지고 있다. 그러나, CCTV로부터 획득한 영상 대부분은 비스듬한 각도로 녹화되고 있기 때문에 차량 및 보행자의 속도 및 위치 등과 같은 행동 특징 정보의 정밀한 획득이 어려운 실정이다. 이로 인해, 대부분의 영상 정보기반 교통시스템에서는 수동으로 객체의 행동 특징 정보가 추출된다. 그러나, 이는 도시 단위의 대규모 영상 분석 시, 많은 비용과 시간이 소모되어 비효율적이므로, 영상 정보로부터 행동 특징 정보를 추출하는 프로세스의 자동화가 반드시 필요하다.
요약하자면, 현행 교통 안전 시스템은 (1) 보행자의 안전 개선을 위하여 확실하고 포괄적인 분석 결과를 도출하기 위한 교통사고 데이터 및 다양한 정보를 도출해내는 분석 도구 및 예측 시스템의 부재 및 (2) 영상 정보로부터 객체의 행동 특징 정보를 획득하기 위하여 비효율적인 비용이 소모된다는 문제점을 안고 있다.
이러한 문제점을 해결하기 위해, 본 논문은 보행자의 교통사고 위험 분석 및 예측을 위한 새로운 형태의 빅 데이터 프레임워크를 제안한다. 본 연구에서 제안하는 프레임워크는 크게 1) 교통 영상 처리 엔진과 2) 잠재적 교통 위험 분석 및 예측 시스템으로 구성된다. 먼저, 교통 영상 처리 엔진에서는 영상 정보로부터 행동 특징을 추출하는 과정을 자동화하여 하나의 프로세스로 구현하는 것을 목적으로 한다. 다음으로, 잠재적 교통 위험 분석 및 예측 시스템은 추출된 차량과 보행자의 행동 특징 정보를 분석하여 위험 패턴을 도출하며, 이들의 실시간 경로 예측을 통해 충돌 위험에 대한 정보를 사전에 제공한다.
세부적으로, 교통 영상 처리 엔진에서는 영상 처리 기법 및 인공지능 방법론을 기반으로 CCTV로부터 차량과 보행자의 움직임이 있는 영상 정보를 추출한 후, 영상의 좌표계의 변환 및 객체의 경로 계산, 행동 특징 추출까지의 모든 과정을 자동화하였다. 이렇게 추출된 차량과 보행자의 행동 특징 정보는 데이터의 접근성 및 분석의 용이성을 위하여 관계형 데이터베이스의 형태로 저장된다.
다음으로, 잠재적 교통 위험 분석 및 예측 시스템은 분석 부분과 예측 부분으로 나누어지며, 분석 부분에서는 횡단보도 근처에서의 차량과 보행자 간 상호작용을 영상 데이터의 특성에 따라 스냅샷(snapshot) 수준과 장면(scene) 수준으로 나누어 분석을 수행하였다. 스냅샷 수준 분석은 차량과 보행자 사이의 순간적인 상황을 처리하며, 데이터 마이닝 기법을 활용하여 행동 특징에 따른 잠재적 위험 정도를 분류하고, 이에 대한 규칙을 도출한다. 장면 수준 분석에서는 하나의 장면 전체에서 움직이는 객체의 행동 특징 변화를 분석하고, 장기간 동안 여러 장소에서 수집된 차량-보행자 간 상호작용 데이터를 기반으로 SafetyCube라고 불리는 데이터 큐브 모델을 설계한다. 이 분석에서는 다양한 수준의 추상화를 기반으로 OLAP 연산에 의한 다차원 분석을 수행하며, 잠재적 위험 패턴을 도출할 수 있다. 또한, 그 결과의 시각화를 통해 의사결정자가 보다 쉽게 의미 있는 정보를 획득할 수 있으며, 이는 통해 실제 사고의 발생에 의존하지 않는 선제적인 도시 환경 개선이 가능하도록 한다. 의미 있는 정보는 시간대별, 지역별 잠재적 위험 패턴 및 위험 행동 다발지역 등을 말한다.
한편, 잠재적 교통 위험 예측 부분에서는 영상 정보로부터 획득한 차량 및 보행자의 경로 데이터를 활용하여 딥 러닝 기반의 경로 예측 모델을 설계하고, 실시간 경로 예측 및 위험 지역 추론을 통해 다가오는 충돌 위험에 대한 정보를 운전자와 보행자에게 사전에 제공하는 기능을 담당한다. 그뿐만 아니라, 잠재적 위험 수준에 대한 정량적인 평가를 통해 횡단보도 단위에서 잠재적인 위험 수준을 측정할 수 있고, 이 또한 사후 처리가 아닌 선제적으로 교통사고를 예방할 수 있다. 나아가, 이는 향후 통신기술의 융합을 통해 C-ITS 등과 같은 차세대 교통 시스템 내 안전 서비스의 일부로 제공될 수 있다.
본 연구에서 제안하는 프레임워크는 교통 영상 정보 처리의 자동화를 통해 차량 및 보행자의 상호 행동에 관한 다양한 분석 및 예측을 가능하게 한다. 또한, 이 결과를 바탕으로 실제 잠재적 위험 행동들을 더욱 심도 있게 이해할 수 있으며, 이를 기반으로 의사 결정자에게 안전한 도로 환경으로의 개선을 위한 통찰력을 제공할 수 있다.
