The skin of natural organisms makes them sense and detect their state and external stimuli without sight to unknown environments, helping to trigger behavioral responses. Inspired by this phenomenon, proprioceptive soft robots constructed from highly compliant materials are being highlighted these days as safer, more adaptable, and bio-inspired alternatives to traditional rigid robots. However, even with their capabilities of shape and behavioral changes and robustness to physical contact, their inherent hysteresis, nonlinearity and infinite degrees of freedom complicate high-level modeling and control. With the rise of learning-based control and perception in soft robotics to deal with those limitations, the sim-to-real transfer of soft robots has begun to be explored, which allows high-level control with efficient data collection. However, manufacturing variances, material fatigue, and high nonlinearities in soft sensors bring a gap between the modeled and physical sensors, which makes it hard to implement sensors in simulation. Taking inspiration from domain adaptation, we propose the sim-real synchronization method of soft robotic sensations by leveraging unsupervised domain-invariant representation learning. The dual cross-modal autoencoder structure is employed to reflect the common features in the domains into the shared latent space. In substitution with the direct mapping, the proposed approach enables data-efficient training by circumventing labeling procedures, and a generalized joint representation transferrable to multiple tasks. The framework is deployed into a popular soft robot design with a pneumatic multi-gait soft robot embedding eGaIn soft sensors. Reflecting the real-world deployments, the evaluation of the method proceeded with multi-task learning of kinematics estimation and collision detection on external contacts. This allows the robots to interact with their surroundings, either in simulation or the real world. Based on our proposed network, soft robots can be used for multimodal control even in simulation or reality, available for sim-to-real transfer. The results show that our network successfully synchronizes the sensor signals and detects the obstructions, providing soft robots with the data-driven multimodal control that was previously unachievable. We also demonstrated our method by implementing a reinforcement learning policy in simulation.
자연 유기체의 피부는 미지의 환경을 보지 않고도 자신의 상태 및 외부 자극을 감지하고 이에 대한 행동 반응을 유발하는데 도움을 준다. 이러한 현상에서 영감을 받아, 고순응 재료로 제작된 고유 감각 소프트 로봇은 오늘날 기존의 강성 로봇에 대한 더 안전하고 적응력이 뛰어나며 생체에서 영감을 받은 대안으로 주목받고 있다. 그러나 형상 및 행동 변화 능력과 물리적 접촉에 대한 견고성에도 불구하고 내재된 이력현상, 비선형성 및 무한 자유도는 높은 수준의 모델링 및 제어를 복잡하게 만든다. 이러한 한계를 극복하기 위해 소프트 로봇 공학에서의 학습 기반 제어 및 인식에 대한 요구가 증가하였고, 이에 따라 효율적인 데이터 수집으로 높은 수준의 제어가 가능한 소프트 로봇의 시뮬레이션에서 실제로의 전환이 이루어지고 있다. 그러나 소프트 센서의 제조 과정에서의 편차, 재료의 피로 및 높은 비선형성으로 인해 센서 모델과 물리적 센서 사이에 간격이 발생하여 시뮬레이션에서 센서를 구현하는데 한계가 존재한다. 도메인 적응에서 영감을 받아, 본 논문에서는 비지도 도메인 불변 특징 표현 학습을 활용하여 소프트 로봇 감각의 sim-real 동기화 방법을 제안한다. 기존의 지도 학습과는 달리 제안한 접근 방식은 레이블 지정 절차를 우회하여 데이터 효율적인 학습을 가능하게 하고, 다중 작업으로 전환 할 수 있는 일반화된 공동 표현을 가능하게 한다. 이러한 프레임워크는 eGaIn 소프트 센서가 내장된 multigait soft robot에 적용하였다. 본 연구에서는 제안한 모델의 성능 평가를 위해, 운동학 추정 및 외부 접촉에 대한 충돌 감지의 다중 작업 학습을 실제 로봇에 적용하고 평가를 진행하였다. 우리가 제안한 네트워크를 기반으로 시뮬레이션이나 현실에서도 소프트 로봇을 멀티모달 제어에 사용할 뿐만 아니라, 시뮬레이션에서 실제로 전환할 수 있다. 또한, 로봇이 시뮬레이션 또는 실제 세계에서 주변 환경과의 상호 작용을 가능케 하였다. 결과는 제안한 네트워크가 센서 신호를 성공적으로 동기화하였으며, 장애물을 감지하여 이전에는 달성할 수 없었던 데이터 기반 멀티모달 제어를 소프트 로봇에 제공한다는 것을 보여준다. 또한 이러한 방법을 시뮬레이션에서 강화학습을 학습하여 가능성을 확인해보았다.
