Terrain detection is important in human walking because lower extremity control strategies vary depending on the terrain. Therefore, walking assistance devices must proficiently classify the terrain for efficient gait assistance. We employ a stereo depth camera-LiDAR hybrid vision system affixed to the user’s trunk, and a deep learning classifier to create a vision-based terrain classification system to classify level ground, ramps, and stairs. We conducted a comprehensive assessment of classification performance across diverse lighting conditions and terrains where vision sensors may be less accurate, including clear days, overcast days, and nighttime scenarios. Additionally, we evaluated the system’s performance in low-light environments where vision sensors might face challenges. Our comparative analysis encompassed six algorithms, including the Ramer Douglas Peucker algorithm and Convolutional Neural Network(CNN) employed in prior research, as well as PointNet, a conventional point cloud classification method. The proposed classifier exhibited the highest classification accuracy at 92.16% among the six. It achieved an accuracy of 93.73% even in low-light conditions. Furthermore, we present a real-time classification system and illustrate classifying diverse terrains.
인간의 보행에서는 지형 감지가 중요하다. 지형에 따라 하지 제어 전략이 달라지기 때문이다. 따라서 보행 보조 장치는 효율적인 보행 보조를 위해 지형을 능숙하게 분류해야 한다. 논문는 사용자의 흉부에 부착된 스테레오 깊이 카메라-LiDAR 하이브리드 비전 시스템과 딥러닝 기반 분류기를 사용하여 평지, 경사로, 계단을 분류하는 비전 기반 지형 분류 시스템을 제안한다. 맑은 날, 흐린 날, 야간 시나리오를 포함하여 비전 센서의 정확도가 떨어질 수 있는 다양한 조명 조건과 지형에 걸쳐 분류 성능에 대한 포괄적인 평가를 수행했다. 또한 비전 센서가 문제에 직면할 수 있는 저조도 환경에서 시스템 성능을 평가했다. 비교 분석에는 기존 연구에서 사용된 Ramer Douglas Peucker 알고리즘과 CNN(Convolutional Neural Network), 기존의 포인트 클라우드 분류 방법인 PointNet 등 6가지 알고리즘이 포함되었다. 제안된 분류기는 6개 분류기 중 92.16%로 가장 높은 분류 정확도를 보였다. 저조도 조건에서도 93.68%의 정확도를 달성했다. 또한, 실시간 분류 시스템을 제시하고 다양한 지형을 분류하는 모습을 보였다.
