We aim to create a simulated testbed for training and assessing deformable object manipulation skills. This testbed requires tactile sensing to distinguish heterogeneous elasticities of a deformable object to acquire skills. In this work, we introduce a visuotactile testbed, DetactGym, for deformable object manipulation, integrating a novel architecture of tactile sensors leveraging collision cascades. These sensors integrate a diamond-shaped rigid element encased within an external rigid structure. This design overcomes a fundamental limitation of PhysX engine-based simulators: their inability to directly measure contact force on deformable objects. The diamond-shaped element efficiently transmits the contact force to the outer structure during interactions with these objects, ensuring force measurements. Our evaluation focuses on the testbed’s capability, equipped with tactile sensors, to facilitate the learning of lifting heterogeneous deformable objects with minimal deformation through reinforcement learning methods. Our findings highlight the effectiveness of tactile feedback over visual cues in manipulating deformable objects with diverse elasticities, reducing deformation.
본 연구는 비정형 물체 조작 스킬을 학습하고 평가하기 위한 시뮬레이션 테스트베드를 제공하는 것을 목표로 한다. 이러한 테스트베드는 비정형 물체 내부의 국소적인 탄성을 구별하기 위해 촉각 정보를 취득할 수 있어야 한다. 따라서 본 논문에서는 비정형 물체 조작을 위해 텍타일 센서를 사용할 수 있는 시촉각 테스트베드 DetactGym을 제안한다. DetactGym에서 제공하는 텍타일 센서는 다이아몬드 형태와 이를 둘러싼 강체 부품으로 구성되어 있으며, 이를 통해 기존 PhysX 엔진 기반 시뮬레이터에서 불가능했던 비정형 물체에 대한 접촉력을 측정할 수 있도록 한다. 텍타일 센서는 비정형 물체가 다이아몬드 형태의 강체에 부딪히면 이를 둘러싼 외부 강체와 충돌하면서 접촉력을 측정한다. 우리가 제안한 DetactGym에서 텍타일 센서를 활용하여 탄성이 불균일한 비정형 물체의 변형을 최소화하여 들어올리는 스킬을 강화학습을 통해 취득할 수 있는지 평가하였다. 결과적으로 우리는 이러한 비정형 물체를 들어올리는 스킬을 학습할 때, 시각적 단서보다 텍타일 정보가 학습에 더 유효하다는 사실을 보이며, 제공한 테스트베드에서 위 스킬을 성공적으로 학습할 수 있음을 보인다.
