Along with advancement of the IoT (Internet of Things), demands for smart cities are increasing to efficiently manage resources and assets of the city. Among these smart city areas, the surveillance systems account for the large portion and video surveillance systems are the largest market size in the surveillance area. The surveillance systems used for object re-identification are popular using CCTV solutions. However, this environment is expensive to implement applications. Therefore, a new data collection approach is needed. The crowdsourcing environment is considered an approach of re-identification as a cost-effective manner. In crowdsourcing environment, various observers send the road data to edge server. Observers can easily move all road, so edge server collects all of road data not by collecting limited road area such as CCTV system. Also, observers have the camera to record a road, crowdsourcing environment costs little to install. This is why we implement a surveillance system at a low cost instead of CCTV. Although there are techniques for re-identification or identification objects in the past, traditional techniques are difficult to apply them to the smart city environment because the means of collecting data are only considered for CCTV, not for crowdsourcing.
In this thesis, we proposed object re-identification scheme in spatio-temporal and crowdsourcing environment. We consider Region of Interest (RoI) to improve the accuracy of the object re-identification. The object has a common characteristic depending on the observation angle, and the area with each common characteristic is set to the same RoI. In this thesis we divided RoI into 5 regions, which are experimentally obtained. Thus we propose the object re-identification technique by considering the RoI of an object when we process object re-identification in a crowdsourcing environment. When we identify an object with RoI, we compare identical characteristics in the same RoI. So we improve the accuracy of object re-identification. CNN is used to extract the object from scene image in data of observers to obtain the same class of the objects and viewpoint of the object. When matching objects, the Euclidean distance is calculated to determine the target object. The average distance of object is minimum. To validate the proposed technique, we compared the SIFT-CNN feature matching approach which does not consider RoI our proposed model, when the object re-identification in an environment in which video was taken by different observers for nine scenes is transmitted on roads in KAIST campus. The experiment results showed that the overall mAP of the RoI considering technique increased by 0.08 and the accuracy of the RoI considering technique increased by 2.1% compared to a technique that is not considered RoI, finally we improved the accuracy of the object re-identification.
IoT의 발전으로 도시의 자원과 자산을 효율적으로 관리하기 위해 스마트 시티에 대한 요구가 증가 하고 있다. 이러한 스마트 시티의 여러 영역 중에서 감시 시스템이 차지하는 비율은 높고 그 중 비디오를 활용하는 처리가 가장 큰 시장 규모를 가진다. 감시 시스템에서 대표적으로 사용될 수 있는 응용은 객체에 대한 인식으로 원하는 객체를 다시 검출하는 재인식에 대한 방법이다. 기존의 감시 시스템은 CCTV를 기반으로 하지만 CCTV 감시 시스템을 구현하기 위해서는 비용이 많이 들어 새로운 데이터 수집 방법이 필요하다. 우리는 비용 효율적인 방법으로 크라우드소싱 환경에서 재인식을 하는 방법을 고려했다. 크라우드소싱 환경은 CCTV와 같이 고정된 장소에서 촬영하는 방식이 아닌 여러 관측자가 움직이면서 촬영한 데이터를 서버에 전송하여 데이터를 수집한다. 크라우드소싱 환경은 이러한 특성 때문에 상대적으로 설치 비용이 낮다. 이 때문에 우리는 저렴한 비용으로 감시 시스템을 구현할 수 있다. 또한 객체를 재인식 또는 인식하는 다양한 방법에 대한 기법들이 있었지만, 기존 기법들은 이미지를 수집하는 수단이 CCTV만을 고려해 크라우드소싱에 대한 고려가 없거나, 하나의 객체에 대해서 시공간 환경을 고려하지 않는 형태로 제안되어 실제로 스마트 시티 환경에 적용하기에는 어려운 부분이 있다.
본 논문에서는 우리는 움직이는 관측자에 대한 시공간 환경 변화와 크라우드소싱 환경에 대한 객체 재인식 방법을 제안한다. 객체 재인식의 정확성을 올리기 위해 Region of Interest (RoI)를 정의한다. 객체는 각도에 따라 공통적으로 가지는 특징이 있고 각각의 공통된 특징을 가지는 영역을 같은 RoI로 설정했다. 논문에서는 특징 구역을 5개로 구분했다. 즉 우리는 시공간 환경에서 크라우드소싱을 통해 입력이 들어올 때, RoI를 고려하여 객체를 재인식하는 방법을 제안했다. RoI에 따른 객체 인식을 하면 RoI에 따른 특징이 다르기 때문에 같은 RoI에서 똑같은 특징을 가지는 영역을 비교할 수 있으므로 높은 정확성을 얻을 수 있다. 관측자에서 보낸 데이터에서 전체 배경에서 객체를 추출하여 목표 객체와 같은 종류의 객체와 촬영 각도를 구하기 위해 CNN을 사용했다. 이미지를 매칭할 때, 유클리드 거리를 측정하여 각 객체의 평균 거리가 가장 짧은 객체를 같은 객체로 판단한다. 제안한 기법에 대한 성능 평가를 위해 실제 한국과학기술원 내의 도로에서 9개의 장면에 대해 서로 다른 4개의 관측자가 촬영한 동영상이 전송되는 환경에서 목표 객체를 재인식할 때, RoI를 고려하지 않는 SIFT-CNN 특징 인식 기법과 우리가 새롭게 제안한 기법의 성능을 비교했다. 실험 결과 RoI를 고려하는 인식 기법이 고려하지 않은 기법보다 전체적인 mAP가 0.08 증가했고 정확성이 2.1% 증가하여 정확성을 개선했다.
