We proposed an algorithm that allows robots to manipulate non-graspable objects. Existing works such as planners require complex contact modeling, and are relatively slow at finding a plan. Our method is based on reinforcement learning, because contact modeling is not necessary and it is faster at finding actions. However, simple application of reinforcement learning is data-inefficient because a robot wastes exploration to merely touch the object. Many existing works address this issue by using a reward that encourages the robot to put its end-effector close to the object. On the other hand, we introduce the pre-contact policy, which makes initial contact with the object. Another policy called the post-contact policy manipulates the object to the goal. We show that the use of trained pre-contact policy is better than not using any initial contact or using random initial contacts. Also, we test whether our method is more data-efficient than using contact-encouraging reward in challenging manipulation problems.
이 논문에서는 물체의 비파지 조작을 가능하게 하는 알고리즘을 다루었다. 기존의 매니퓰레이션 계획법과 같은 방법은 복잡한 접촉 모델링이 필요하며 매니퓰레이션 계획을 찾아내는 것이 느리다. 본 논문의 알고리즘은 접촉 모델링이 필요 없고 속도가 빠른 강화학습에 기반을 두고 있다. 그러나 단순히 강화학습 알고리즘을 매니퓰레이션 문제에 적용하면 물체에 접촉을 만드는 작업에만 상당한 숫자의 상호작용이 필요하여 비효율적이다. 기존의 여러 연구에서는 이 문제를 물체와의 접촉을 유도하는 보상을 사용하는 것으로 해결하였다. 그러나 본 논문에서는 초기 접촉을 만드는 정책 신경망을 도입하여 접촉 문제를 해결하였다. 또한 다른 정책 신경망이 초기 접촉 이후 물체를 조작하여 목표 지점까지 이동시킨다. 본 논문에서는 초기 접촉을 사용하지 않거나 임의의 초기 접촉을 사용하는 것보다 학습된 초기 접촉 생성 정책 신경망을 사용하는 것이 좋다는 것을 보였다. 또한 접촉을 유도하는 보상을 사용하는 것보다 본 논문의 방식이 어려운 물체 조작 문제에서 더 효율적인 학습을 가능하게 하는지 시험하였다.
