In construction sites, fall and injury prevention are crucial to ensure worker safety and minimize serious consequences from fall incidents. This thesis focuses on empowering construction site safety with portable AI and computer vision for real-time automated detection of personal protective equipment (PPE) usage and fall incidents.
First, we introduce an improved YOLOv8 model for accurate detection of proper usage of PPE (helmet, harness, lanyard) on edge devices. A novel large-scale multi-class PPE dataset is constructed. To achieve a balance between detection accuracy and lightweight design, we improve YOLOv8 by combining the coordinate attention module, ghost convolution module, transfer learning, and merge-non-maximum suppression. The proposed model outperforms the original YOLOv8, improving mAP50 by 1.58% and mAP50-95 by 3.04% while reducing the computational cost. Deployed on an edge device, Jetson Xavier NX, it achieves 9.11 FPS with a 92.52% mAP50.
Second, we develop a real-time multi-person fall detection model for construction sites. Based on the constructed large-scale fall dataset and improved YOLOv8, we achieved 93.60% accuracy in human detection. Further integration of AlphaPose and SORT enables the extraction of skeleton keypoints for multi-person across consecutive frames. Utilizing 1D CNN-LSTM, our model classifies activities into fall incidents and non-fall incidents based on consecutive key points, achieving an accuracy of 98.66% (sensitivity: 97.32%; specificity: 99.10%). In addition, this model shows robust performance under different occlusion levels. Deployed on an edge device Jetson Xavier NX, it achieves 6.44 FPS.
Finally, we design an integrated portable safety monitoring system on edge devices that can simultaneously monitor PPE usage and detect fall incidents. The system provides flexibility and adaptability for real-world applications at construction sites, enabling remote monitoring.
These technologies hold immense promise for improving construction safety, laying a foundation for efficient, real-time automated safety monitoring, and enhancing worker safety in the construction industry.
건설 현장에서 낙상 및 부상 예방은 작업자의 안전을 보장하고 추락 사고로 인한 심각한 결과를 최소화하는 데 매우 중요하다. 이 논문은 휴대용 AI와 컴퓨터 비전 기반 개인 보호 장비 (PPE) 사용 및 낙상 사고 실시간 자동 탐지를 통해 건설 현장 안전을 강화하는 데 중점을 둔다.
먼저, 엣지 디바이스에서 개인 보호 장비 (헬멧, 하네스, 안전고리)의 사용 여부를 정확하게 탐지하기 위해 향상된 YOLOv8 모델을 도입한다. 새로운 대규모 다중 클래스 개인 보호 장비 데이터셋이 구축되었다. 탐지 정확도와 경량 설계 사이의 균형을 달성하기 위해, coordinate attention module, ghost convolution module, transfer learning, merge-non-maximum suppression을 결합하여 YOLOv8을 향상한다. 제안된 모델은 기존 YOLOv8보다 성능이 뛰어나며 mAP50은 1.58%, mAP50-95는 3.04% 향상하면서 계산 복잡도를 줄였다. 엣지 디바이스 Jetson Xavier NX에서 실행되어 92.52% mAP50과 9.11 FPS를 달성한다.
둘째, 건설 현장을 위한 실시간 다중 인원 낙상 탐지 모델을 개발했다. 대규모 낙상 데이터셋과 향상된 YOLOv8을 기반으로 사람 탐지 정확도 93.60%를 달성한다. AlphaPose와 SORT의 추가 통합을 해 연속 프레임에 걸쳐 다중 인원에 대한 골격 키포인트를 추출할 수 있다. 이 모델은 1D CNN-LSTM을 활용하여 연속된 키포인트를 기준으로 행동을 낙상 사고과 비낙상 사고로 분류하여 탐지된 사람에 대해 정확도 98.66% (민감도 97.32%, 특이도 99.10%)를 달성한다. 이 모델은 다양한 가려짐 수준에서도 견고한 성능을 보여준다. 엣지 디바이스 Jetson Xavier NX에서 실행되어 6.44 FPS를 달성한다.
마지막으로 우리는 개인 보호 장비 사용 및 낙상 사고 탐지를 동시에 하는 통합형 휴대용 안전 모니터링 시스템을 엣지 디바이스에 설계한다. 이 시스템은 건설 현장 내 실제 활용에 대한 유연성과 적응성을 제공하여 원격 모니터링을 가능하게 한다.
이러한 기술은 건설 안전을 향상시키고, 효율적인 실시간 자동 안전 모니터링을 위한 기반을 마련하며, 건설 산업에서 작업자 안전을 향상시키는 데 많은 가능성을 가지고 있다.
