In this thesis, we present an algorithm to measure precise movement of fast ball from multi-exposed images. Recently, several computer-simulated ball sports games have been developed and some of them such as golf and soccer have already achieved commercial success in market. Most sensors for the interactive simulation, however, are too expensive or have limitations on its physical sensing ability and spatial sensing coverage.
A multi-camera system with a stroboscope is a suitable sensor system for interactive sports simulation, which provides accurate sensing with spatial freedom at low-cost. Nevertheless, it also has several problems since it uses a stroboscope light source and does multi-exposure for each camera frame. For instance, strong top-down illumination makes fade on the ball, and following club head overlaps the ball image.
In this thesis, we addressed several challenges arisen while we measure the movement of fast ball with this system, and presented our solution. We have proved that our algorithm could get precise location of the shaded ball. We have tested it with various ball sizes at various angle, and our algorithm could obtain the center of the ball in sub-pixel resolution. In addition, the issue that ball images could be corrupted by other objects in multi-exposure was solved by detecting outliers, and interpolating missing balls. We have shown that until 33% of balls were missing, our algorithm could maintain its stability, and in cases that more balls were missing, it still returned correct result with high ratio. We also showed that the performance of multi-camera single stroboscope sensor system with our algorithm was very close to that of a high performance radar sensor system, TrackMan. Finally, we showed that the proposed algorithm ran within 50 milliseconds, which is enough for real-time sports simulation.
본 논문에서는 고속 이동하는 공을 다중 노출 촬영한 영상에서 공의 중심점을 정확하게 측정할 수 있는 알고리즘을 제안하였다. 최근 여러가지 구기 스포츠가 컴퓨터에 의해 시뮬레이션되고 있으며, 골프와 축구 등 몇몇 스포츠는 인터랙티브 스포츠 시뮬레이션 게임으로 상업적으로 큰 성공을 거두고 있다. 그러나, 시뮬레이션에 사용되는 대부분의 센서들은 너무 고가이거나, 물리적인 측정 범위와 측정 공간에 제약이 존재한다. 스트로보와 멀티 카메라를 이용하는 시스템은 고해상도 측정 능력과 공간적인 자유도를 저렴한 가격에 제공하여 인터랙티브 스포츠 시뮬레이션에 적합하다. 그러나, 이러한 스트로보와 멀티 카메라 시스템의 경우에는 스트로보 광원, 그리고 영상을 다중 노출함에 따른 문제들이 발생한다. 예를 들어, 상부로부터 강한 조명이 투사되는 것은 카메라에서 촬영된 공의 영상에 그림자를 만든다. 또, 공을 뒤따르는 다른 물체나 신체 부위가 공의 영상을 겹쳐쓰게 된다. 우리는 우리가 이 시스템을 이용해 고속 이동하는 공의 중심점을 획득하는 과정에서 발생한 여러가지 문제들을 지적하고, 그 해결책을 제안하였다. 우리는 알고리즘의 각 단계를 상세하게 제시하였다. 그리고 다양한 각도에서 그늘 현상을 발생시킨 후 획득된 중심점을 실제 공의 중심점과 비교하여 획득된 중심점이 정확함을 보였다. 그리고 다중 노출에 의한 공과 타 물체의 겹침 현상으로 공이 유실되는 경우에도 안정적으로 공의 비행 정보를 획득하는 것을 보였다. 또한 알고리즘의 수행 속도가 실시간 스포츠 시뮬레이션에 적합함을 보였다. 그리고 저가형의 스트로보와 멀티 카메라 센서 시스템에서 본 알고리즘을 적용한 결과가 고가, 고성능의 레이더 센서를 사용하는 TrackMan 시스템의 결과와 근접함을 보였다.