Event camera with a high dynamic range ensures scene capture even in low-light conditions. However, events captured at night exhibit differences in patterns compared to events captured during the day, causing performance degradation when using event-based algorithms trained on only day events for night scenarios. To overcome the limitation, I first tackle day-to-night translation in the event modality within an unpaired setting. To this end, I propose a Schrödinger Bridge diffusion model that effectively learns the mapping function from one domain to another, tailored for day-to-night event translation. Throughout the translation, wavelet decomposition is applied to analyze shared and distinct features between day and night events, trying to preserve shared elements while transporting differences. The temporally disentangled encoder is also designed which explicitly separates the event features and the temporal dimension. Introducing temporal contrastive learning helps maintain temporal order in events during the translation process. To validate the efficacy of the proposed methodology, I redesign metrics for evaluating events translated in an unpaired setting, aligning them with the event modality for the first time and subsequently justifying the metrics. The results obtained from the metrics illustrate the superior performance of the proposed approach compared to alternative methods. Lastly, through event translation, I facilitate downstream networks trained by incorporating labeled day events alongside the translated synthetic night events. This approach effectively mitigates the performance degradation of applying real night events to the task.
고 다이내믹 레인지를 갖춘 이벤트 카메라는 밤과 같은 낮은 조도에서도 전방 상황을 잘 포착할 수 있다. 그러나 밤에 촬영한 이벤트는 낮에 촬영한 이벤트와 비교했을 때 그 양상에 있어서 차이를 보인다. 이벤트 양상의 차이로 인해 낮 이벤트를 사용하여 학습한 이벤트 기반 알고리즘을 야간 시나리오에 사용할 경우 성능 저하가 발생한다. 이러한 문제점을 해결하기 위해서 낮 이벤트를 밤 이벤트로 전환하는 연구를 진행하고자 한다. 이때 낮과 밤의 이벤트는 서로 대응되지 않는다. 전환 방법으로는 최근 두각을 보이는 확산 모델을 기반한 방식을 사용할 것이며, 이 중에서도 슈뢰딩거 브릿지를 통한 두 집단 사이의 연결을 통해 낮 이벤트에서 밤 이벤트로 전환하는 전환 함수를 만들어 낼 것이다. 전환 과정에서 웨이브렛 분해를 통해 낮과 밤의 이벤트를 분석하여 낮과 밤 이벤트 간 공유하는 특성은 유지하고, 다른 특성은 전환한다. 또한, 시간 축에 대해 풀려있는 인코더를 구축해 합성곱 연산 과정에서 이벤트의 시간 축을 명시적으로 분리한다. 분리된 이벤트의 시간 축을 통해 형성된 분리된 채널에 시간적 콘트라스티브 학습을 적용해 낮 이벤트를 밤 이벤트로 변환하는 과정에서 시간적 정보를 보존할 수 있게 한다. 제안한 방법을 검증하기 위해 대응되지 않는 데이터셋에서 전환한 이벤트를 평가할 수 있는 지표를 처음으로 이벤트에 맞게 재구성하였고 이를 정당화하였다. 해당 지표를 통해 타 방법 대비 본 연구에서 구성한 방법이 더 나은 성능을 가짐을 보였다. 마지막으로 낮 이벤트와 이에 대응하는 라벨에서 일부 낮 이벤트를 가상의 밤 이벤트로 전환해 밤 이벤트와 이에 대응하는 라벨 쌍을 만들어 함께 네트워크를 학습하였고, 이를 통해 네트워크에 실제 밤 이벤트를 적용하는 데 생겨나는 성능 저하를 줄였다.
