The common method to estimate the position of the region with different stiffness is the sensing force information. In the specific case of the contact condition cannot being satisfied, the force sensor cannot be used for distinguishing the region with different stiffness. The researches on a force estimation have done with contact-condition or assumed that the soft tissue has a homogeneous stiffness. In this research, the finite element method simulation of the nonhomogeneous soft tissue model and the depth map of the soft silicone model deforming experiment is used as a vision input data of the proposed algorithm, which estimates the relative position between the pressing tool and the stiffer region. The convolutional neural network is applied to use spatial information of the deformed area and the boundary condition of the liver-shaped model by using 14 classes. The network performs on a test set which is constructed with both simulation data and experiment data shows 0.82 accuracy, and performs on a test set which is constructed with experiment data shows 0.66 accuracy based on top 1 accuracy. The network for distance regression shows 22.33% error.
탄성이 다른 영역을 특정하는 방법 중 대표적인 방법으로 힘 정보를 이용하는 방법이 있다. 접촉식 힘 센서를 사용하지 못하는 경우, 힘 정보를 얻을 수 없어 힘 정보를 통한 탄성 구별이 불가능하다. 힘 정보를 얻기 위하여 별도의 장치를 사용하거나 시각 정보를 사용하는 연구가 진행되어 왔지만 장치와 탄성체의 접촉이 필요하거나, 탄성체가 균일한 탄성을 가지고 있다고 가정하여 연구가 진행되었다. 본 논문에서는 내부에 다른 탄성을 가진 영역이 존재하는 탄성체의 변형 유한요소 시뮬레이션과 실리콘 모델의 변형 실험에서 추출한 깊이 데이터를 시각 데이터로 활용해 다른 탄성을 가지는 영역과 모델을 누르는 도구 사이의 상대적인 위치를 추정하는 방법에 대해 다룬다. 시뮬레이션 데이터의 변형이 발생한 영역과 간 형상 모델의 경계 조건의 정보를 포함하기 위해 합성곱 신경망을 사용하여 상대적 위치를 14개의 class를 사용하여 추정하였으며, 시뮬레이션 데이터와 실험 데이터를 모두 사용한 테스트 데이터에 대해서는 top 1 accuracy 기준 0.82의 정확성을, 실험 데이터로만 구성된 테스트 데이터에 대해서는 0.66의 정확성을 보였다. 또한 거리를 추정하는 네트워크의 경우, 22.33%의 에러를 보였다.
