This work reports a miniaturized optical device with an electrothermal actuator for real-time stereoscopic endoscopic imaging. The microelectromechanical system (MEMS) parallel plate rotation allows single camera based stereoscopic imaging with both high resolution and wide field of view (FOV).
Medical endoscopes serve as efficient tools for in vivo optical diagnosis or clinical surgery to investigate internal organs and stereoscopic endoscopes are more efficient than conventional 2D endoscopes by providing precise depth information. Stereoscopic systems include two cameras like left and right sight of human eyes. When images are captured in two cameras, object has different positions centering on optical axis in images and distance between the positions, called binocular disparity that inversely proportional to depth, is used for depth estimation. Conventional stereoscopic systems with two cameras are bulky system to applied in endoscope therefore single camera based stereoscopic systems have researched. The parallel plate rotation, the novel single camera based stereoscopic methods, deflects path of light by Snell’s law and enable to capture images at different viewpoints maintaining high resolution and wide FOV.
The physical volume of MEMS PPR is well fit within 3.4mm $\times$ 3.3mm $\times$ 1mm. The electrothermal actuation under low operational voltages, 6VAC, precisely rotates the plate by $26.4^\circ$ in front of an endoscopic camera and creates binocular disparities, comparable to those from binocular cameras with a baseline distance of 84μm. The disparity map was successfully reconstructed by extracting local binocular disparities from optical images captured at the maximum relative angle in actuation in dynamic mode. This method provides a new direction for realizing a single camera based real-time stereoscopic imaging inside a medical endoscope.
최근 3D영상 기술에 대한 연구가 많이 진행되어 산업, 엔터테인먼트분야에 적용될 뿐만 아니라 의료기술분야에서도 연구가 활발히 적용되고 있다. 그 중 내시경은 가장 활발히 연구되고 있는 분야 중 하나로 3D내시경을 사용할 경우 2D 내시경보다 수술시간과 오차가 현저히 줄어 효율적인 진단 및 수술이 가능하다. 따라서 내시경 내에서 3D 영상을 얻는 방법에 대한 많은 연구가 진행 중이다. 그 중 일반적으로 쓰이는 방법은 실제 두 카메라를 내시경에 패키징하여 양안시차를 얻는 방법이다. 이 방법의 경우 고해상도의 이미지를 얻을 수 있으나 두 카메라 사이 조정이 어렵고 소형화에 한계가 있다는 단점이 있다. 따라서 단일 카메라 기반의 입체영상에 대한 연구가 진행되었는데 이는 공간분할 방식과 시분할 방식, 두 방식으로 나눌 수 있다. 공간분할의 경우 이미지 센서를 반으로 나누어 한 카메라 안에 좌우이미지를 동시에 얻는 방식이다. 이 방식의 경우 이미지를 동시에 얻기 때문에 고속 영상처리가 가능하나 센서를 반으로 나누기 때문에 해상도가 떨어지는 단점이 있다. 시분할 방식의 경우 조리개를 반으로 나누어 시간에 따라 좌우 이미지를 얻는 방식으로 해상도를 높일 수 있으나 조리개를 반으로 나누기 때문에 여전히 FOV가 좁은 단점이 있다.
이를 해결하기 위해 본 연구에서는 평판회전 기반의 시분할 방식의 광학소자를 개발하여 고해상도와 넓은 FOV를 갖는 입체 영상을 얻고자 한다. 평판회전 방식은 빛의 굴절을 통하여 카메라가 이동하는 효과를 얻을 수 있으며 이와 같은 방식을 사용할 경우 조리개와 이미지 센서 전체를 사용하기 때문에 고해상도와 넓은 FOV를 갖는 이미지를 획득할 수 있을 것으로 판단된다. 공정이 성공적으로 완료되어 크기 3.4mm $\times$ 3.3mm $\times$ 1mm 갖는 광학소자를 개발하였으며 제작된 광학소자는 두 카메라 사이 거리 84μm에 해당하는 회전각도 $26.4^\circ$ 의 구동특성을 보였다. 또한 136Hz의 공진주파수와 35.5의 큐를 갖는다. 최종적으로 실제 광학소자를 이용하여 입체영상에 필요한 좌우 이미지를 관측하였으며 거리 계산에 필요한 양안시차를 얻을 수 있음을 확인하였다. 제작된 광학소자는 새로운 단일 카메라 기반 실시간 입체 내시경 이미징에 쓰일 수 있을 것으로 판단된다.
