In this dissertation, we concentrate on development of quantitative models of measurement noise and time-delay in field-rate COTS vision system. And also we show their value by an application of direct visual servoing. We analyze operations of the vision systems physically and electrically and then derive mathematical models by using adequate methods of some limitations and simplifications. At last, we verify their validity by experiments. Although it is desired that the models may be proved for all features, we consider only posture features such as position and angle in this dissertation. For the other features, we can derive models by using similar methods as mentioned in the dissertation.
Chapter 2 gives basic backgrounds needed for developments in the following chapters. First, a definition of field-rate COTS vision system is given. Next, analysis in frequency domain of optical lens system of camera is given and followed by color detection algorithm and its fast version, which is used in experiments. And mathematical definitions and error characteristics of geometric features used in the dissertation are given. Last, statistical verification methods such as Kolmogorov-Smirnov test and W test are described, which are widely used in problems of deviation between an empirical and a theoretical distribution or between unknown distributions.
In Chapter 3, a noise model of postures measured by off-the-self vision systems is proposed by using a probabilistic binary image model. Due to deterministic and stochastic effects of off-the-shelf vision systems, we get noisy bitmap images with intermediate colors on their boundaries. After color detection, instead of a pure binary image representation, we use the probabilistic binary image model, which consists of interior region, exterior region, and boundary region: Binary values of pixels in the boundary region are defined as i.i.d. binary random variables with a constant probability called modal probability constant. Using the probabilistic model, we derive a noise model of measured postures. The measurement noise is assumed to be zero-mean Gaussian with a variance function, which is given as a function of area, orientation of object, and modal probability constant. Using statistical tests, we reveal that the Gaussian model is acceptable.
Chapter 4 presents a typical application of the noise model proposed in Chapter 3. In this chapter, we propose a tuned α-β tracker, which is an improved version of conventional α-β tracker with respect to sum of squared error. α-β tracker is one of widely used estimators for unknown movements, which is a kind of Kalman filter using generic kinetic motion equation as motion model. Gain matrices for conventional α-β tracker are fixed due to assumption on static characteristics of measurement noise and motion. Various methods determining optimal gains are proposed till now. However, for the case that the noise characteristics are changing, the fixed optimal gains do not guarantee best performance. We proposed a tuned version of α-β tracker, which can changes gain matrices according to the noise model of vision system proposed in Chapter 3. We verify the value of proposed tracker via simulations and show that the tracker improves tracking performance in aspect of sum of squared error.
Chapter 5 presents analysis on time-delay of COTS vision systems. In this chapter, we analyze inherent time-delay of COTS vision systems in measuring postures of moving objects and reveal minimum sensing time-delay obtainable. Slow shutter speed in COTS vision systems causes motion-blur in moving objects, which invites vagueness in time as well as in position influenced by the motion-blur. We overcome the vagueness by introducing the concept of exposure time-delay. Considering the exposure time-delay and image transfer time of overlay boards together, we determine the inherent time-delay (ITD) in COTS vision systems. Also, utilizing field-interleaved scanning and slow readout speed of COTS cameras, we propose a posture determination algorithm that guarantees the minimum sensing time-delay (MSTD), which uses both field-based processing and processing during overlaying methods. To verify validity of the proposed MSTD and MSTD algorithm, overall time-delay of our COTS vision system is measured directly with pendulum experiments.
Chapter 6 presents a typical application using the minimum time-delay of COTS vision systems. We suggest direct visual servo control of a planar arm using COTS vision systems with exact time-delay identification and compensation. Since time-delay in vision systems usually causes instability or prevents high-gain controllers, accurate compensation of time-delay is essential. In this chapter, we use the Smith predictor to overcome the time-delay. Since the Smith predictor requires accurate plant models with time-delay, we identify exact time-delay in COTS vision systems and establish a linear model of our planar robot. We find out the time-delay to be one and a half field time (1.5 T). Also we formulate the exact discrete-time Smith predictor which can compensate the time-delay with non-integer step. We show validity of our visual servo controller via experiments using a parallel-drive two-link planar (PDTLP) manipulator.
And at last, we conclude the dissertation with summary and future works in Chapter 7.
본 논문에서는, 효율적인 직접 시각 제어(direct visual servoing)를 위한 field-rate COTS (commercially off-the-shelf) 비전 시스템의 특성에 대해서 연구하고 이러한 특성을 고려한 직접 시각 제어 시스템을 구현해 본다. 요즈음, 로봇 비전 분야에서는 반도체 기술 및 관련 기반 기술의 발전으로 상업적인 기성 부품들을 사용한 비전 시스템들이 각광을 받고 있다, 본 논문에서는 이러한 비전 시스템을 COTS 비전 시스템으로 부르기로 한다. 이러한 추세에 비해, COTS 비전시스템의 특성에 대한 정량적인 연구는 거의 없는 형편이다. 특히, 시각 제어적인 측면에서 보면, 비전 시스템의 측정 잡음(measurement noise)과 시간지연(time-delay)이 가장 중요한 특징인데 이러한 특징에 대한 정량적인 연구 역시 거의 찾아 볼 수 없다. 따라서, 본 연구에서는 효율적인 직접 시각 제어를 위한 field-rate COTS 비전 시스템의 특징에 대해 아래 두 가지 질문을 하고 이에 대한 정량적인 분석을 제시하고자 한다.
1. 영상평면상의 물체의 형태와 영상특징(image features)의 측정 잡음 사이에는 어떤 정량적인 관계가 존재하는가?
2. Field-rate COTS 비전시스템의 최소 시간 지연은 얼마인가?
이러한 질문에 정량적으로 대답하기 위해, 우리는 우선 비전 시스템의 동작을 물리적, 전기적으로 분석한다. 또, 적당한 제약과 간략화를 통해 적합한 수학적인 모델을 제시하고자 한다. 마지막으로, 제안된 모델의 타당성을 실험을 통해 실증적으로 검증하고, 직접 시각 제어 시스템에 실제 적용함으로써 제안된 정량적인 모델의 효용성을 보이고자 한다. 본 논문은 구체적으로 아래와 같은 내용으로 구성되어 있다.
3장에서, 확률적 이진 영상 모델(probabilistic binary image model)을 이용해 영상에서 측정된 위치에 포함된 잡음에 관한 모델을 제안한다. 일반적으로 획득된 영상에서 물체의 가장자리는 배경과 물체의 중간색상을 띠게 되며, COTS 비전 시스템내의 여러 가지 물리´전기적 작용으로 잡음을 포함하게 된다. 색상 결정 후 결과 이진영상에 대해, 우리는 기존의 이진영상 표현 방법 대신 삼 영역 이진영상 모델을 제안한다. 이 이진 영상 모델은 내부 영역, 가장자리 영역 및 외부 영역 등 세 부분으로 구성되어 있는데, 이중 가장 자리 영역에 포함된 화소의 이진 값은 i.i.d. 이진 확률변수로 정의 되며, 이 확률 변수는 最頻확률상수(modal probability constant) 상수를 가진다. 제안된 삼 영역 모델을 이용해서, 측정된 위치의 잡음 모델을 유도한다. 이 잡음 모델은 물체의 면적, 방향 및 最頻확률의 함수 형태인 분산 함수를 가지는 zero-mean Gaussian으로 나타난다. 두 가지 통계 검정 방법을 이용해서 제안된 잡음 모델이 실제 상황에서도 타당함을 보여준다.
4장에서는, 3장에서 제안된 잡음 모델의 응용사례를 제시한다. 이 장에서, 우리는 SSE (Sum of Squared Error) 측면에서 기존의 α-β 추적기의 향상된 변형인 동조 α-β 추적기를 제안한다. α-β 추적기는 일반 운동 방정식을 이용한 칼만 필터의 일종으로, 미지의 운동에 대한 예측기로 널리 사용되고 있다. 기존 α-β 추적기의 설계 시, 측정 잡음과 운동에 대한 통계적 특성이 정적인 것으로 가정하기 때문에 이득은 상수로 고정되어지며 이러한 최적의 이득을 얻기 위한 방법들이 이제까지 많이 제안 되었다. 그러나 잡음 특성이 변하는 경우에는 고정된 최적 이득은 최상의 성능을 보장하지 못한다. 따라서 우리는 3장에서 제안된 비전 시스템의 잡음 모델에 따라 이득을 바꿀 수 있는 동조 α-β 추적기를 제안한다. 모의 실험을 통해서 제안된 추적기의 효용성을 검증하고, SSE 측면에서 추적 성능이 향상되었음을 보여준다.
5장에서는, field-rate COTS 비전 시스템의 시간 지연에 대해 분석한다. 이 장에서, 우리는 움직이는 물체의 위치를 측정할 때 field-rate COTS 비전시스템의 내재된 시간지연을 분석하고 획득 가능한 최소의 시간 지연을 조사한다. COTS 비전 시스템의 느린 셔터 속도 때문에 motion-blur가 발생하고, 이 때문에 측정된 위치뿐 아니라 측정 시각도 모호해 진다. 노출 시간 지연의 개념을 도입함으로써 우리는 이런 모호함을 극복할 수 있다. 노출 시간 지연과 영상 전송 시간을 고려해서, 우리는 COTS 비전 시스템에 불가피하게 내재되는 ITD (inherent time-delay)가 존재함을 제시한다. 또 COTS 비전 시스템의 field-interleaved 주사방법과 느린 읽어내기 속도를 활용해서, 최소의 시간지연을 보장하는 위치 결정 알고리즘을 제안한다. 이 알고리즘은 field-based processing 방법과 processing during overlaying 방법을 이용하게 된다. 진자 실험을 통해서 field-rate COTS 비전 시스템의 전체 시간 지연을 직접 측정하여, 제안된 최소 시간 지연과 최소 시간 지연 위치 결정 알고리즘의 타당성을 보여 준다.
마지막으로, 5장에서 제안된 최소 시간 지연을 이용한 응용 사례를 6장에서 제공한다. 본 장에서는 COTS 비전 시스템의 시간 지연이 field 주사 시간(T)의 정수배가 아님을 보이고 이 시간 지연을 정확하게 보상한 직접 시각 제어 시스템을 구현한다. 비전 시스템의 시간 지연이 전체 시스템의 불안정을 유발하고 높은 이득의 제어기를 사용하기 힘들도록 하지만 정확한 시간 지연을 보상해줌으로써 이러한 시간 지연의 바람직하지 못한 효과를 제거할 수 있다. 우리는 Smith 방법을 이용해서 비전 시스템의 시간 지연 효과를 극복하려고 한다. Smith 방법은 시간 지연을 포함한 정확한 시스템 모델을 요구하므로, 우리는 우선 사용된 로봇 및 비전 시스템을 분석해 정확한 시간 지연과 시스템 모델을 제시한다. 사용된 field-rate COTS 비전 시스템의 최소 시간 지연의 크기가 1.5 T 임을 보이고, field 주사 시간의 정수배가 아닌 시간 지연을 보상할 수 있는 일반적인 이산 Smith 예측기를 제시한다. 직접 구동 parallel-drive two-link planar (PDTLP) 매니퓰레이터를 이용해 시각 제어 실험을 하고, 제안된 시간 지연의 타당성과 예측기의 성능을 검증한다.
우리는 본 연구를 통해 field-rate COTS 비전 시스템을 이용한 시각 제어 시스템의 분석 및 설계 작업에 대한 통찰을 줄 수 있는 정량적인 모델을 제시하고자 했다. 또 일반적으로 직접 시각 제어 응용 시스템들은 시각적 궤환에 주로 의존하기 때문에, 본 연구는 그러한 시각 제어 시스템을 실제적으로 분석하고 효율적인 제어기를 설계하는데 도움을 줄 것으로 기대된다.
