Collaborative Perception (CP) enables multiple agents to share environmental information to improve autonomous driving. Among various approaches, intermediate collaboration offers a good balance between perception accuracy and communication efficiency, yet still suffers from information loss caused by feature compression. Furthermore, existing methods rely on class-agnostic confidence pruning, which disproportionately removes features from certain object classes, and they experience significant performance degradation when collaborating agents become scarce. Despite their wide field of view and stable observations, infrastructure sensors are typically used only as auxiliary sources, leaving their advantages underutilized. This paper proposes an infrastructure-centric collaborative perception framework that incorporates semantic information to overcome these limitations. The framework consists of two components: Post- Semantic Fusion, which applies learnable class-importance weights to restore weakened features after fusion, and Prior-Semantic Distillation, which transfers semantic priors from vehicles to enhance infrastructure features, particularly in low-agent scenarios. Experiments on the V2X-REAL dataset demonstrate improvements of 5.7% for the vehicle class and 3.9% for the pedestrians class, with up to 8.5% gain in sparse-agent settings. The proposed methods also maintain stable performance under localization noise. In summary, this work presents a semantic-aware, infrastructure-centric CP framework that enhances robustness and scalability for cooperative autonomous driving, while providing a foundation for future research in multi-modal and class-balanced dataset generation learning extensions.
협력 인지(Collaborative Perception, CP)는 다수의 에이전트가 주변 환경 정보를 공유하여 자율주행 성능을 향상시키는 기술이다. 다양한 collaboration 방식 중 intermediate collaboration 방식은 성능과 통신량의 균형을 잘 맞추는 방법으로 주목받고 있으나, 데이터를 압축하는 과정에서 데이터 손실이 발생한다. 그러나 기존 기법들은 (1) class-agnostic confidence 기반의 feature pruning으로 인해 클래스 별 객체가 불균형하게 삭제되고, (2) 협력 에이전트 수가 적어지는 상황에서 성능이 급격히 저하되는 한계를 가진다. 또한 많은 연구에서 인프라 센서는 보조 역할로만 활용되어, 넓은 시야와 안정적인 관측이라는 인프라 고유의 장점이 충분히 활용되지 않았다. 본 연구에서는 이러한 한계를 해결하기 위해 의미론적 정보를 활용한 인프라 중심 협력 인지 프레임워크를 제안한다. 본 프레임워크는 semantic 정보를 두 단계에서 도입한다. Post-Semantic Fusion은 fusion 이후 feature에 class-importance를 적용하여 class-agnostic pruning으로 약화된 feature를 회복하며, Prior-Semantic Distillation은 차량 에이전트의 semantic prior를 teacher로 활용해 infrastructure feature를 보강함으로써 에이전트가 적은 환경에서의 성능을 향상시킨다. V2X-REAL 데이터셋 기반 실험 결과, 제안된 두 기법은 차량에서 4.7%p, 보행자 클래스에서 0.3%p 향상을 보여주었다. 특히 에이전트가 적 은 상황에서 차량 클래스에서는 5.6%p 향상됨을 보여주었으며, localization noise에 대한 안정적 성능 유지 등을 확인하였다. 결론적으로, 본 연구는 인프라 중심 협력 자율주행 환경에서 요구되는 실시간성, 강건성, 확장성을 지원하는 의미론적 협력 인지 프레임워크를 제시하였다. 제안 기법은 향후 multi-modal 확장 및 클래스 불균형 해결을 위한 시뮬레이션 기반 데이터 생성 학습 등 다양한 연구 방향의 기반을 제공한다.