Along with the advent of smart city, the intelligent transportation system is established to enhance the performance of traffic management in many aspects by providing innovative services. For example, there are several attempts such as gathering the data from CCTV systems to analyze and detecting traffic problems in the road environment. Since CCTV has the limitation on monitoring coverage compared to the urban scale, and in terms of cost, we try to utilize the crowdsourcing environment which does not require any installation cost and can gather the data from plenty of crowdsourcing observers through the roadside edge server to cover the vast area.
Practically, there are numerous studies conducted to collect and make use of crowdsourcing data. However, there are some problem issues that make analyzing the crowdsourcing data difficult. Since the data is collected from plenty of observers located at different locations and moving along the time, the viewpoints of data are also different over data. Therefore, direct comparison on spatial analysis by using two dimensional image contains distortion due to having different viewpoints among data, which can result in a critical error as the difference of viewpoints is larger. In addition, in crowdsourcing data, the information of each object in each data is not known to the other data. So re-identifying the object must be guaranteed in prior.
In this thesis, we propose a model to estimate the spatial relationships for moving objects in crowdsourcing environment. We focus on estimating the quantitative spatial relationship in distance between movable objects recorded as target analysis on crowdsourcing data. By estimating the quantitative distances between objects, several application services that utilize the spatial relationship between objects such as illegal parking detection can be emerged to improve the quality of life in the city. In the proposed model, we try to solve the problems that can occur by the different viewpoints among crowdsourcing data and estimate spatial information in data by using the properties that covisibility frequency represents the viewpoint invariant distance information between two objects and pixel-wise depth estimation can provide analyzing spatial information in unified three dimensional real world coordinate among data with different viewpoints. The model consists of three steps. In the first step, we intend to extract spatial information on the entire time frames of each video data into covisibility frequency vector so that the object-wise entire information observed among video data can be considered. By calculating the covisibility frequency for a multiple object pairs presented in several frames on video data taken with different viewpoints, the feature vectors representing spatial distance between objects are extracted from each video data, and by comparing the patterns of feature vectors representing the covisibility frequencies for matched object pairs among the data, we try to make it possible to compare the spatial relationship between objects among the data with different viewpoints. Although this method have an advantage that can cover wide range of target analyzing objects as it considers information of whole frames in video data, it lacks mitigating precise spatial analysis. To complement this limitation, at the second step and third step, we try to estimate depth information in pixel-wise from image data and extract feature vector that can represent the topological structure of objects' spatial information.
In the performance evaluation, we conducted the stepwise experiment using the simulated roadside data to verify the feasibility of the proposed method for analyzing the spatial relationship of the moving objects over crowdsourcing data. In the experiment of step 1, the extracted co-visibility pattern vectors of the data filmed at the same location with different viewpoints are quantitatively similar. For evaluation of step 2, the relative position map (RPM) estimator prove its ability to estimate the spatial relationship from single image with an accuracy of about 0.88 that results in high performance in the third experiment of RPM-based spatial relationship matching with a value of AUC is 0.8 for the case of 3 matching pairs. Through the experiments, we conclude that the proposed approaches can mitigate the existing problems of crowdsourcing data. Thus, it is applicable to analyze the spatial relationship among the movable objects in crowdsourcing data that can significantly contribute to diverse smart city services.
스마트시티의 등장과 함께 지능형 교통시스템이 구축되어 혁신적인 서비스를 제공함으로써 여러 측면에서 교통관리의 성과를 높이고 있다. 예를 들어 CCTV 시스템의 데이터를 수집해 도로 환경의 교통 문제를 분석하고 탐지하는 등 여러 시도가 있다. CCTV는 도시 규모에 비해 감시범위에 한계가 있고 비용 측면에서도 설치비용이 필요 없고 넓은 지역을 커버하기 위해 도로변 에지 서버를 통해 수많은 크라우드소싱 관찰자로부터 데이터를 수집할 수 있는 크라우드소싱 환경을 활용하고자 한다.
실제로, 크라우드소싱 데이터를 수집하고 활용하기 위해 수많은 연구가 수행되고 있다. 그러나 크라우드소싱 데이터를 분석하기 어렵게 만드는 몇 가지 문제점이 있다. 데이터는 서로 다른 위치에 위치한 많은 관찰자로부터 수집되고 시간을 따라 이동하기 때문에 데이터에 대한 데이터 관점 또한 다르다. 따라서 2차원 영상을 이용한 공간 분석의 직접 비교는 데이터 간 관점이 달라 왜곡이 발생하는데, 관점의 차이가 커 중대한 오류가 발생할 수 있다. 또한 크라우드소싱 데이터에서는 각 데이터에 있는 각 개체의 정보를 다른 데이터에는 알 수 없다. 따라서 물체를 다시 식별하는 것은 사전에 보장되어야 한다.
본 논문에서는 크라우드소싱 환경에서 움직이는 물체의 공간 관계를 추정하는 모델을 제안한다. 우리는 크라우드소싱 데이터에 대한 표적 분석으로 기록된 이동 가능한 물체들 사이의 거리에서의 정량적 공간 관계를 추정하는데 초점을 둔다. 물체 간 정량적 거리를 추정함으로써 불법 주정차 적발 등 물체 간 공간 관계를 활용한 여러 애플리케이션 서비스가 등장하여 도시 생활의 질을 높일 수 있다. 제안 모델에서는, 크라우드소싱 데이터의 다른 관점으로 발생할 수 있는 문제를 해결하고, 두 물체 사이의 가시성 빈도와 픽셀 단위 깊이 추정이 주걱 분석 기능을 제공할 수 있는 관점을 나타내는 특성을 이용하여 데이터의 공간 정보를 추정하려고 노력한다.l 통일된 3차원 실제 세계의 정보는 다른 관점을 가진 데이터들 사이에서 조정된다. 모델은 세 단계로 구성되어 있다. 첫 번째 단계에서는 각 비디오 데이터의 전체 시간 프레임에 대한 공간 정보를 동시성 주파수 벡터로 추출하여 비디오 데이터 사이에서 관찰되는 객체지향적인 전체 정보를 고려할 수 있도록 하고자 한다. 서로 다른 관점으로 찍은 비디오 데이터에 대해 여러 프레임에 제시된 다중 객체 쌍의 가시성 빈도를 계산하여 각 비디오 데이터에서 객체 간 공간 거리를 나타내는 형상 벡터를 추출하고, 일치된 시각에 대한 가시성 빈도를 나타내는 형상 벡터의 패턴을 비교한다. 데이터 사이의 객체 쌍, 서로 다른 관점을 가진 데이터 사이의 객체 간의 공간 관계를 비교할 수 있도록 노력한다. 이 방식은 전체 프레임 정보를 영상자료로 고려해 광범위한 대상 분석 객체를 커버할 수 있는 장점이 있지만 정밀한 공간분석을 완화하는 데는 미흡하다. 이러한 한계를 보완하기 위해 두 번째 단계와 세 번째 단계에서는 이미지 데이터에서 픽셀 단위로 깊이 정보를 추정하여 객체의 공간 정보의 위상적 구조를 나타낼 수 있는 형상 벡터를 추출하려고 한다.
성능평가에서는 모의 도로변 데이터를 이용하여 단계적 실험을 실시하여 크라우드소싱 데이터에 대한 이동 물체의 공간 관계를 분석하기 위해 제안된 방법의 타당성을 검증하였다. 1단계 실험에서, 서로 다른 관점으로 동일한 위치에서 촬영된 데이터의 추출된 동시 가시성 패턴 벡터는 양적으로 유사하다. 2단계의 평가를 위해 상대 위치 지도(RPM) 추정기는 3개의 짝을 이루는 경우 AUC 값과 일치하는 RPM 기반 공간 관계 매칭의 세 번째 실험에서 고성능을 보이는 약 0.88의 정확도로 단일 영상에서 공간 관계를 추정할 수 있는 능력을 입증한다. 실험을 통해 제안된 접근법이 크라우드소싱 데이터의 기존 문제를 완화할 수 있다는 결론을 내린다. 따라서 다양한 스마트 시티 서비스에 크게 기여할 수 있는 크라우드소싱 데이터에서 이동 가능한 물체 사이의 공간 관계를 분석하는 것이 가능하다.
