This dissertation presents a real-time haptic rendering strategy with high fidelity, while guaranteeing the stability of the haptic system. Haptic systems employ physics-based deformation models such as finite-element models and mass-spring models. These physics-based deformation models for high fidelity have to deal with complex geometries, material properties, and realistic behavior of virtual objects. This incurs heavy computational burden and time delays so that the reflective force often cannot be computed at 1 kHz which is a safe frequency for stability of the haptic systems. Lower update rates of the haptic loop and the computational delays also deteriorate the realism of the haptic system.
The dissertation proposes an output-estimation method with reduced multirate sampling for real-time MIMO (multi-input multi-output) haptic rendering with high fidelity. The haptic system includes both the graphics loop with a low update rate (JT) and the haptic loop with a high update rate (T), where J and T are some positive integer, and simulates haptic and graphic interaction involving deformable objects. Dynamics of the physics-based deformation is captured in a discrete and deterministic input-output model. The MIMO output-estimation method is developed drawing on a least-squares algorithm and an output-error estimation model. The P-matrix resetting algorithm is also designed to deal with the changing input-output relationship of the deformation model. The parameters of the discrete input-output model are adjusted on-line. The estimated parameters are not supposed to converge to static values, but rather continuously trace the real parameters of the input-output relationship of the deformation model. Inter-sample outputs are computed from the estimated input-output model at a high rate, and traces the correct output computed from the deformation model. The computational time-delay, JT, is compensated by the JT-step-ahead output model. This method enables graphics rendering at a lower update rate, and haptic rendering at a higher update rate. Convergence of the MIMO output-estimator with P-matrix resetting is proved analytically for JT-sample outputs and the inter-sample outputs. The multirate-output-estimator-based haptic rendering for multipoint contacts is proposed. Another multirate output-estimation with an exogenous variable is proposed. Efficacy of the multirate output-estimator is demonstrated through simulation with both a tensor-mass and a mass-spring model.
The multirate output-estimator might sometimes generate a relatively large estimation error. An impulse in the estimation error can threaten stability of the haptic system as well as the safety of the human operator. Moreover, it is difficult to compute the exact impedance of the deformable object, particularly if physics-based models are used, such as tensor-mass and mass-spring models. This problem is exacerbated if geometry and impedance of the physics-based deformation model are changed, e.g., cutting and/or suturing. The adjusting output-limiter is proposed to guarantee the stable interaction with deformable objects of unknown and/or varying impedance. The adjusting output-limiter can also alleviate the negative effect of an impulse in the estimation error.
The adjusting output-limiter (AOL) is developed based on the time-domain passivity theory and the two-port network model. The limiter adjusts the maximum permissible force to guarantee the passivity of the haptic system at every sampling instant. The controller notes only the magnitude of the reflective force, and does not depend on the properties of the employed force model. This allows the control method applicable to haptic systems involving deformable objects with unknown, nonlinear, and/or time-varying impedance. The adjusting output-limiters for the impedance-type and the admittance-type haptic systems are presented, and are also extended for the haptic systems with multiple degrees-of-freedom. Efficacy of the limiter is demonstrated through experiments.
The multirate-output-estimator-based control method is proposed to improve the stability of the haptic systems, and also the fidelity of the reflective force even when the update rate is low and computational time-delay exists. The control method includes the MIMO output-estimator with multirate sampling, and the adjusting output-limiter, and the efficacy of the controller is evaluated with experiments.
햅틱 시스템은 그래픽 모델을 통한 시각 정보와 햅틱 렌더링을 통한 역감 정보의 공감각적 상호작용을 통해 가상 환경의 현실감과 몰입감을 증강시킨다. 가상 환경의 현실감 증강을 위해서 그래픽 모델은 유한 요소 모델 또는 질량-스프링 모델과 같은 동역학에 근거한 변형체로 모델화되며, 변형체 모델은 재료의 특성 및 변형-응력의 상관관계가 반영되어야 한다. 따라서 모델의 변형 및 그에 따른 반력의 계산과정이 복잡하며, 이에 그래픽 및 햅틱 렌더링의 갱신율이 낮아지고 계산시간지연 (computational time-delay)이 발생한다. 햅틱 렌더링의 느린 계산 주기와 계산시간지연은 햅틱 시스템의 현실감과 몰입감을 저하시킨다.
본 논문에서는 햅틱 렌더링의 속도 향상과 계산시간지연을 보상함은 물론, 햅틱 렌더링의 충실성을 향상시키고 시스템의 안정성을 보장하기 위한 실시간 햅틱 렌더링 방법을 제안한다. 제안된 실시간 햅틱 렌더링 방법은 반력의 충실성 향상과 계산지연의 보상을 위한 다중율 출력 추정법과 반력의 충실성 유지 및 시스템의 안정성 보장을 위한 순응 출력 제한기로 구성된다.
햅틱 시스템은 느린 샘플링 주기 (JT)를 갖는 그래픽 렌더링과 빠른 샘플링 주기 (T)를 갖는 햅틱 렌더링으로 구성된다. 변형체의 동역학적 모델은 이산 (discrete) 및 결정된 (deterministic) 입출력 모델이다. 다중율 출력 추정법은 시스템의 다중율 샘플링, 변형체의 입출력 모델, 최소 자승법과 출력 오차 추정법에 근거하여 개발된다. 변형체 모델로부터 계산된, 낮은 샘플링 주기의 출력들을 통해 입출력 모델의 매개변수들은 실시간으로 조절되고, 이를 다중율 출력 추정기에 반영한다. 그리고 다중율 출력 추정기를 이용하여 높은 샘플링 주기로 햅틱 렌더링이 구현된다. 이 때, 추정된 매개변수들은 고정적인 값으로 수렴하기보다는 P-행렬 초기화 알고리즘 (P-matrix resetting algorithm)을 통해 입출력 모델의 실제 매개 변수들을 계속적으로 추정한다. 그리고 특히 다중율 출력 추정기 모델은 실시간 계산은 물론, 계산시간지연을 보상해주며, 추정 출력들은 변형체 모델로부터의 출력에 빠른 속도로 수렴한다. 따라서 다중율 출력 추정법은 느린 샘플링 주기를 갖는 그래픽 렌더링과 빠른 샘플링 주기를 갖는 햅틱 렌더링의 독립적인 구현을 가능하게 해주며, 햅틱 렌더링의 출력이 변형체 모델의 출력에 빠르게 수렴하므로 그 충실성을 높여준다. P-행렬 초기화 알고리즘을 포함한 다중율 출력 추정법의 수렴성이 증명된다. 그리고 다중 접촉에 따른 상호작용에 대한 실시간 햅틱 렌더링을 위해 다중율 출력 추정기 기반의 햅틱 렌더링 방법이 제안된다. 다중율 출력 추정법의 성능 평가는 유한 요소 모델 중 하나인 텐서-질량 모델과 질량-스프링 모델을 통하여 검증된다.
다중율 출력 추정법을 통한 출력은 드물게 큰 추정 오차를 발생시키며, 이는 시스템의 안정성과 사용자의 안전성을 위협한다. 그리고 텐서-질량 모델과 질량-스프링 모델과 같이, 동역학에 근거한 변형체 모델의 정확한 임피던스는 실시간으로 계산하기 어렵다. 따라서 큰 추정 오차가 발생하거나, 변형체의 임피던스를 모르거나, 비선형이고 시간에 따라 변하더라도 시스템의 안정성을 보장하기 위해 순응 출력 제한기가 제안된다.
순응 출력 제한기는 수동성 이론과 2-port network 모델을 근거로 개발되며, 샘플링마다 햅틱 시스템의 수동성 보장을 위한 출력의 최대 크기를 제한한다. 이 제한기는 출력이 계산되는 과정과는 상관없이 출력의 크기만을 기준으로 설계된다. 따라서 미지의, 비선형의, 또는 시간에 따라 변하는 임피던스를 갖는 변형체의 경우에서 적용가능하며, 출력 제한을 통해 시스템을 안정화시킬 수 있다. 임피던스 및 어드미턴스 형식의 햅틱 시스템에 대한 순응 출력 제한기가 각각 제안되며, 다 자유도 시스템을 위한 제한기 역시 제안된다. 제한기의 성능은 실험을 통해 검증된다. 햅틱 시스템의 안정성을 향상시키고 출력의 충실성을 향상시키기 위해서, 다중율 출력 추정기 기반의 햅틱 제어 방법이 제안되고, 그 성능이 실험을 통해 검증된다.
