With the development of the micro-electro-mechanical system (MEMS) and biotechnology, there is a growing interest in observation of dynamic targets in three-dimensional (3D) space. Keeping the region of interest (ROI) on the moving target from the best view direction is critical for observation. Especially for the cases of microassembly and micromanipulation, the two-directional interaction between a micromanipulator/microrobot and a vision system is an important factor for the success of these applications. Unfortunately, the conventional microscopes used in most of these applications cannot meet this requirement. Insufficient vision information in these systems, such as occlusion, a small field of view (FOV) and low depth resolution often hinders the success of micro inspection, microassembly and/or micromanipulation.
In this thesis, an optomechatronic system that has been termed a Variable View Imaging System (VVIS) is introduced. The original idea of the proposed system comes from both robotics and optics. The proposed system can interact with the environment by changing optical system parameters such as the view position and orientation (pose) with four degrees-of-freedom in a compact manner. Double wedge prisms are applied in the system to steer the view angle. Different active components are integrated into one system to achieve new functions and to improve performance. The proposed system consists of a pair of wedge prisms, a set of scanning mirrors, a deformable mirror and off-the-shelf optics. The compact double wedge prisms can change the view angles (azimuth angle and zenith angle). A two-axis scanning mirror is integrated into the system to keep the FOV on the target during the change of view angles. The scanning mirror also provides the ability to track a moving object inside the FOV. An improved system with a telecentric lens group is also proposed, which can decouple the rotation angle of scanning mirror and view angles.
As an optical system, the aberrations of the system are analyzed. Because of the wedge prisms and scanning mirror used in the system, the wavefront errors are variable during operation of the system. In order to correct the variable aberrations, a micromachined membrane deformable mirror (MMDM) is integrated in the system. A deformable mirror control algorithm is proposed to correct the wavefront error without using wavefront sensor, which is particularly suitable for general vision system.
As a robotic system, the kinematics of the proposed system is analyzed based on a simplified model initially to investigate the workspace and identify the kinematic performance. A more rigorous analysis of kinematics and workspace of the system is then made based on the ray tracing method. The singularity analysis is also presented. A series of simulation based on the kinematics investigate the variable view capability of the system.
In order to achieve an optimal performance, an optimized design for the view steering part is introduced. The relationship between design parameters and system performance are analyzed. As a multi-objective optimization problem, pereto-optimal theory is applied in the optimized design. The trade off relationship between the maximum zenith angle and numerical aperture are achieved, which gives a good guide for the system design.
Then the performance of the proposed invention is investigated by a series of experiments. The calibration for the experiment setup is presented first. Then experiments for the wavefront correction evaluate the proposed deformable mirror control algorithm. The experiments for observation of micro objects show the ability of the system for imaging the targets with different view imaging to avoid occlusion. We also verify the successful application of the proposed system in vision-based microassembly.
Owing to the ability of variable view, 3D estimation using the proposed system is another important application. By change the view angle, the features on the target can be observed without occlusion. A strategy for generation of two views can estimate the 3D coordinates of the features with minimal estimation error. The experiment show the feasibility of the proposed method by using the variable view imaging system.
In conclusion, the proposed system can adjust the system parameters of the view orientation and position according to working environment. The ability to achieve a desired view of the targets makes it particularly suitable for observing three-dimensional micro objects in dynamic applications. This thesis introduces the operation of the system, analyzes the optical system and presents the optimal design for the proposed system. The aberration induced by the optical components is corrected by the adaptive optics. We also demonstrated its application in microassembly and 3D reconstruction. This thesis provides an important contribution to inventions of more innovative smart optical systems in the future.
MEMS (micro-electro-mechanical system)와 바이오 기술의 발달로 인해 3차원 공간 내의 동적인 물체에 대한 영상을 얻는 방법이 큰 관심사로 떠오르고 있다. 이를 위해서는 관심영역 (ROI, region of interest)을 움직이는 물체 위로 유지하면서 원하는 각도에서 물체를 바라볼 수 있는 것이 중요하다. 특히 미세조립 (microassembly)과 미세조작 (micromanipulation)을 성공적으로 수행하기 위해서는 미세 매니퓰레이터 (micromanipulator) / 미세 로봇 (microrobot)과 비전 시스템 간의 양방향 상호작용이 중요하다. 하지만, 대부분 사용되는 전통적인 현미경의 경우에는 이러한 요구조건을 충족시킬 수 없다. 이러한 경우, 가림, 좁은 화각, 얕은 초점심도 등으로 인해 발생하는 불충분한 시각정보 문제로 인해 미세 검사 (micro inspection), 미세조립 (microassembly), 미세조작 (micromanipulation)을 성공적으로 수행할 수 없다.
본 논문에서는 가변시야광학계 (VVIS, Variable View Imaging System)라 명명된 하나의 광기전 시스템이 제안된다. 제안된 시스템의 원천 아이디어는 로보틱스와 광학으로부터 기인한다. 본 시스템은 시야 위치와 시야 방향을 간결한 방법으로 조절할 수 있는 4자유도 시스템으로서, 이러한 파라미터를 변경하여 외부 환경과 상호작용한다. 2개의 쐐기형 프리즘이 시야 방향을 조절하기 위해 사용된다. 서로 다른 능동 요소들을 통합함으로써 새로운 기능을 창출하고 성능을 향상시킨다. 제안된 시스템은 한 쌍의 쐐기형 프리즘과 스캔 거울과 변형거울 (deformable mirror)과 기성 광학 부품으로 이루어진다. 간결한 2개의 쐐기형 프리즘은 시야 방향 (고도각[zenith angle], 방위각[azimuth angle])을 조절할 수 있다. 2축 스캔 거울은 시야 방향을 바꿀 때, 시야의 위치를 물체 위에 고정시키는 데 사용된다. 움직이는 물체를 추종하는데 스캔거울을 이용할 수도 있다. 텔리센트릭 렌즈 구성을 적용함으로써 향상된 시스템도 제안되는데, 이 시스템에서는 스캔 거울의 각도가 시야의 방향에 영향을 주지 않는다.
하나의 광학계로서 시스템에 있는 수차가 분석된다. 시스템에 사용된 쐐기형 프리즘과 스캔 거울로 인해 시스템에서 발생하는 파면 오차는 가변적이다. 가변적인 수차를 보정하기 위해 변형거울 (MMDM, micromachined membrane deformable mirror)이 시스템에 통합된다. 파면센서 (wavefront sensor)를 사용하지 않고 수차를 보정하는 변형 거울 제어 알고리즘이 제안되는데, 이 방법은 일반적인 광학계에서 사용할 수 있다.
하나의 로봇 시스템으로서, 시스템의 작업공간을 조사하고 기구학적 성능을 파악하기 위해 간단한 모델에 기반한 기구학적인 해석이 제시된다. 시스템에 대한 좀더 엄격한 해석은 광선 추적에 의해 수행된다. 특이점 분석도 제시된다. 기구학적 해석에 근거한 일련의 시뮬레이션을 통해 시스템의 시야 가변 성능이 조사된다.
최적의 성능을 얻기 위해, 시야 회전 부분의 최적 디자인이 제시된다. 디자인 파라미터와 시스템 성능 사이의 관계가 분석된다. 최적 디자인을 위해 하나의 다중 목적함수 최적화 문제로서 파레토 최적화 이론 (pereto-optimal theory)이 적용된다. 최대 고도각 (zenith angle)과 시스템 개구수 (NA, numerical aperture) 사이의 트레이드오프 (trade-off) 관계가 얻어지는데, 이는 시스템 설계에 있어서 하나의 가이드라인이 될 수 있다.
또한 일련의 실험을 통해 제안된 시스템의 성능이 분석된다. 우선 실험 셋업의 캘리브레이션이 제시되며, 제안된 알고리즘을 이용한 변형 거울의 수차 보정 성능이 평가된다. 미소 물체를 이용한 실험을 통해 본 시스템이 물체를 바라보는 시야의 방향을 바꿈으로서 가림문제를 극복하는데 사용될 수 있음을 보여 준다. 또한 이 논문에서는 제안된 시스템이 미세 조립 문제에도 적용할 수 있음을 보인다.
가변시야를 통해 영상을 얻으므로 본 시스템을 통해 3차원 형상 정보를 얻을 수 있다는 점도 또 하나의 특징이다. 시야 방향을 변경함으로써, 대상물체의 특징점들이 가림 문제 없이 관찰될 수 있다. 두 방향 시야를 얻기 위한 전략을 통해 대상 점의 3차원 좌표를 최소의 오차로 얻을 수 있다. 실험 결과를 통해 본 시스템이 3차원 형상 복원에 사용될 수 있음을 알 수 있다.
결론적으로, 제안된 시스템은 시야 방향과 위치를 상황에 맞게 조절할 수 있는 시스템이다. 대상물체에 대해 원하는 방향, 위치의 영상을 얻을 수 있는 본 시스템은 동적인 3차원 미소 물체를 관찰해야 하는 여러 응용 문제에서 요긴하게 사용될 수 있다. 본 논문에서는 본 시스템의 작동과 광학시스템의 분석과 최적 설계 방법이 제시된다. 광학 부품들에 의해 유발된 수차는 적응 광학계를 이용해 보정된다. 이 시스템의 적용 예로서 미세조립과 3차원 형상 복원이 수행된다. 이 논문은 미래의 창의적인 지능 광학 시스템의 발전을 위해 기여하고 있다.
