Abstractive dialogue summarization presents unique challenges due to the dynamic nature of conversations, involving multiple speakers, role changes, language variations, and informalities. Despite recent advancements in this field, summaries generated by existing methods often suffer from factual errors. To address this issue, post-processing correction has emerged as a promising approach that offers practicality and can be combined with other techniques. However, existing correction models still exhibit limitations, including false corrections that transform clean summaries into incorrect ones. We propose "identify-then-correct" framework as a novel foundation for post-processing correction in abstractive dialogue summarization. Our framework comprises three steps: decide, identify, and correct. Initially, the framework determines whether a summary contains factual errors and proceeds to identify the wrong part. This identified segment then serves as guidance for the correction. Our evaluation results demonstrated the effectiveness of our identifier and corrector model in terms of detecting incorrect summaries and correction, proof that providing guidance from the identifier model improved correction performance. The overall evaluation showed that our framework outperformed the baseline in balancing identification and correction while also highlighting its flexibility and practicality as it allows for the integration of models that align with its objectives. Furthermore, the factuality human evaluation provided further validation of the effectiveness of our models and framework, emphasizing the ability of our approach to achieve accurate correction while preventing false correction.
추상적인 대화 요약은 다중 화자, 역할 변경, 언어 변화 및 비공식성을 포함하는 대화의 동적 특성으로 인해 고유한 과제를 제시합니다. 이 분야의 최근 발전에도 불구하고 기존 방법에 의해 생성된 요약은 종종 사실 오류로 인해 어려움을 겪습니다. 이 문제를 해결하기 위해 후처리 수정은 실용성을 제공하고 다른 기술과 결합할 수 있는 유망한 접근 방식으로 부상했습니다. 그러나 기존 수정 모델은 깨끗한 요약을 환각 상태의 요약으로 변환하는 잘못된 수정을 포함하여 여전히 한계를 보입니다. 우리는 추상적인 대화 요약에서 사후 처리 수정을 위한 새로운 기반으로 "식별 후 정확한" 프레임워크를 제안합니다. 우리의 프레임워크는 결정, 식별 및 수정의 세 단계로 구성됩니다. 처음에 프레임워크는 요약에 사실 오류가 있는지 여부를 확인하고 잘못된 부분을 식별합니다. 그런 다음 이 식별된 세그먼트가 수정에 대한 감독 역할을 합니다. 우리의 평가 결과는 환각 요약을 감지하는 데 있어 식별자 모델의 효과를 입증했습니다. 수정 평가는 또한 식별자 모델의 감독을 제공하면 생성 식별자가 요약의 잘못된 부분을 식별하는 데 가장 효과적인 것으로 입증되어 수정 성능을 향상시킨다는 것을 밝혔습니다. 전반적인 평가에 따르면 우리의 프레임워크는 식별과 수정의 균형을 맞추는 데 있어 기준을 능가하는 동시에 목표에 맞는 모델을 통합할 수 있어 유연성과 실용성을 강조했습니다. 또한, 사실성 인간 평가는 잘못된 수정을 방지하면서 정확한 수정을 달성하는 접근 방식의 능력을 강조하면서 모델과 프레임워크의 효과에 대한 추가 검증을 제공했습니다.
