In-hand object perception makes humans manipulate complicated shapes smoothly. It is also evident in robot manipulation systems. However, robots with vision sensors have difficulty reaching human-level dexterity due to a lack of sufficient tactile information channel as their human counterpart does. This work conducts classification and estimation of in-hand objects through contact information, and implements effective human tactile explorations strategy.
First, with tactile sensors, contact information is extracted in the form of a point cloud that can simply and effectively represent the 3D shape of an object and utilized. Based on contact information in the corresponding point cloud format, this work implements PoinTacNet, a PointNet-based supervised learning architecture that can perform classification tasks. For PoinTacNet training, the contact information dataset is collected through simulation. Then, to reduce the domain gap between tactile information obtained in real and simulation, sim-to-real transfer learning is applied to perform classification tasks through real contact information. With implementation of effective human tactile exploration through class likelihood distribution, this work shows the improvements in classification certainty increases. The pose estimation tasks are performed on the classified objects through point cloud registration algorithm.
This work provided quantitative classification accuracy and pose estimation results for 10 objects obtained from the McMaster public dataset. This work reduced the domain gap of contact information between simulation and real-world through sim-to-real transfer learning, and the results showed an accuracy of about 83.89% using real-world contact information. Also, real-to-real learning with data augmentation techniques that PoinTaCNet, trained via real tactile data, has difficulty in obtaining good classification performance, and successfully learns and classifies small amounts of real contact information through simulation and transfer learning. With the implementation of the re-grasping scenario, which is an effective human exploration strategy, this work demonstrated improvement of quantitative indicators on accuracy of classification and the performance. Using a point cloud registration algorithm called FilterReg, this work was able to derive an average RMSE value of about 5.032º.
손 안의 물체 인식은 인간이 복잡한 모양을 부드럽게 조작할 수 있게 한다. 이것은 로봇 조작 시스템에서도 명백한 사실이다. 그러나 비전 센서가 있는 로봇은 인간처럼 촉각 정보 채널이 충분하지 않기 때문에 인간 수준의 손재주에 도달하는 데 어려움이 있다. 제안하는 접근 방식은 인간의 효과적인 촉각 탐사 전략을 구현하며, 접촉 정보만을 활용한 물체의 분류와 자세추정을 한다.
우선, 촉각 센서를 활용하여 물체의 3D 형상을 간단하고 효과적으로 표현할 수 있는 포인트 클라우드 형태로 접촉 정보를 추출하고 이를 활용한다. 해당 포인트 클라우드 형식의 접촉 정보를 바탕으로 분류 작업을 수행할 수 있는 포인트넷 기반의 지도학습 아키텍쳐인 PoinTacNet을 구현하고, 학습을 위해 시뮬레이션을 통해 접촉 정보를 수집한다. 이후, 실제에서 얻어진 촉각 정보와 시뮬레이션을 통해 얻어진 접촉 정보의 도메인 차이를 줄여주기 위해, sim-to-real 전이학습을 적용하여 실제 접촉 정보를 통한 분류 작업을 수행할 수 있도록한다. 이후 분류 작업을 통해 분류된 물체의 classification likelihood distribution 을 통해 인간의 효과적인 탐사 전략을 구현하여 확실성을 높여준다. 분류가 완료된 물체는 포인트 클라우드 정합 알고리즘을 통해 물체의 자세추정 작업을 수행한다.
본 연구는 McMaster 공용 데이터셋에서 얻은 10개의 물체에 대한 정량적인 분류 정확도와 자세추정 결과를 제공한다. 전이 학습을 통해 시뮬레이션과 실제에서 얻어진 접촉 정보의 도메인 차이를 줄여주었으며, 그 결과 실제 접촉 정보를 활용하여 약 83.89% 의 정확도를 보여주었다. 또한 데이터 증강기법을 통한 real-to-real 학습을 통해, 실제 촉각 데이터를 통해 PoinTaCNet을 학습하고, 좋은 분류 성능을 얻어내기엔 어려움이 존재하며, 시뮬레이션을 통한 효과적인 접촉 정보 수집 방법과 전이 학습을 통해 성공적으로 적은 양의 실제 접촉 정보를 학습 및 분류를 할 수 있다는 것을 보여주었다. 인간의 효과적인 탐사 전략인 re-grasping 시나리오를 통해, 분류의 정확도 및 정량적인 지표의 성능 향상을 보여주었다. FilterReg라는 포인트 클라우드 정합 알고리즘을 활용하여 약 5.032º의 평균 RMSE 값을 도출할 수 있었다.
