Computerized presentation slides have become essential for many occasions such as business meetings, classroom discussions, and public events. Given the tremendous increase in online resources and materials, locating high-quality slides relevant to a given task is a daunting challenge, particularly when users look for superior quality slides out of the massive amount of slides. This study proposes a new, comprehensive framework for Information Quality (IQ) developed specifically for computerized presentation slides, explores the possibility of automatically detecting the IQ of slides, and expands the IQ framework by including difficulty assessment criteria and technique. To determine slide-specific IQ criteria as well as their relative importance, we conducted a user study involving 60 participants from two universities and utilizing extensive coding analysis. The coding analysis summarized users comments and provided 216 IQ criteria for presentation slides. The suggested IQ criteria was assigned into proper IQ dimensions by card sorting method. Finally, we built a IQ framework comprising 216 criteria across 13 dimensions.
Further, we subsequently conducted a series of multiple experiments to examine the validity of the IQ framework including features developed on the basis of the selected criteria from the user study. Based on statistical support and feasibility, we devised 65 features to evaluate the IQ of slides. By performing Learning to Rank approach with the features, we confirmed that the experimental results support the validity of the proposed framework. The results also showed that the proposed feature set from the IQ criteria based on the user study effectively improves the retrieval performance(27.3%) over BM25 algorithm and Google slides search results. According to analysis result about the level of dimension, representational and informativeness dimension were effective to the automatic assessment. In addition, we expanded the framework by including difficulty assessment, that lead to a deep understanding of IQ of presentation slides. We proposed a difficulty model comprising content difficulty and presentation difficulty. With the model, we suggested 59 features across 5 difficulty dimension and performs a classification task to distinguish easy and hard slides in terms of content and representation. The results showed that the proposed difficulty model outperforms 6.2% in content difficulty and 20.5% in representation difficulty and also confirmed that the feature set have an crucial impact for classification performance, admitting the effectiveness of our comprehensive IQ framework. According to the results, readability is important for evaluation content difficulty and several dimensions such as structural completeness and formatting style were effective. The study showed the proposed comprehensive IQ framework is promising to evaluate quality and difficulty for educational presentation slides. The IQ framework is flexible and extensible for other types of documents such as textbook. This study had an impact on the related academic field for IQ assessment by providing a model, criteria, evaluation sets, and so on.
프리젠테이션 슬라이드는 현재 수업, 토론, 공공 행사 등 많은 경우에 필수적으로 쓰이는 온라인 자료 중 하나이다. 이에따라 사용자가 주어진 일에 관련된 고품질의 슬라이드를 찾는 것은 최근의 온라인 자료의 양의 엄청난 증가와 슬라이드는 텍스트 뿐 아니라 표 그림 등 여러 객체들이 복합적으로 포함된 문서임을 고려할 때 매우 어려운 문제이다. 이 연구는 프리젠테이 슬라이드 형태의 자료의 정보 품질(Information Quality)의 평가를 위해 새로운 포괄적인 프레임워크(Framework)를 제안하고 이를 이용하여 자동으로 품질을 측정할 수 있는 가능성을 탐구한다. 또한, 난이도를 측정할 수 있는 기법을 프레임워크에 추가하여 확장한다. 슬라이드의 정보 품질에 대한 평가 기준(Criteria)들을 알아보기 위해, 우리는 두 대학에서 60명의 참가자를 포함하는 광범위한 인터뷰를 실시하였고, 심도있는 코딩 분석을 수행하여 사용자의 216개 기준(Criteria)을 도출하였다. 이후 카드분류(Card Sorting) 방법을 사용하여도출된 기준들을 적절한 품질 디멘전(Dimension)에 할당하였다. 이에 따라 13개 품질 디멘전의 216개 사용자 기준을 포함하는 정보 품질 프레임워크를 구축하였다. 또한, 우리는 사용자 조사에서 구축된 프레임워크의 품질 기준(Criteria)에 기초하여 자동으로 품질을 측정할 수 있는 자질(Feature)들을 고안하였다. 통계적으로 높은 의미와 구현 가능성을 갖는 기준들에 대해 평가 방법을 수립하고 구현하였다. 측정된 자질들은 기계학습(Machine Learning) 방법의 하나인 Learning to Rank 기법을 이용하여 제안한 정보 품질 프레임워크의 유효성을 검증하는 일련의 실험을 하였다. 실험 결과를 통해 제안한 프레임워크가 품질에 기반하여 BM25 알고리즘과 구글 검색결과에 비해 품질 관점에서 검색 성능을 평균 27.3% 향상시키는 것을 확인 하였다. 마지막으로, 우리는 학습용 슬라이드의 난이도 측정 프레임워크를 제시하고 이를 품질평가 프레임워크에 포함 확장하였다. 난이도 평가를 위해 내용(Content) 난이도와 표현(Representation) 난이도를 포함하는 난이도 모델(Difficulty Model)을 제안하였다. 제안한 난이도 모델의 5개 난이도 디멘전 59개의 자질을 사용하여 학습 슬라이드의 난이도를 자동으로 측정하고 기계학습 방법인 분류(Classification) 기법을 이용하여 난이도 측정 성능을 측정하였다. 실험을 통해 대조군 대비 내용적 난이도 측정에서 6.2%와 표현적 난이도에서 20.5%의 성능 향상을 확인하여 제안한 난이도 측정 자질 및 방법론의 유효성을 증명하였다. 본 연구에서는 정보 품질 효과적으로 측정할 수 있는 프레임워크를 제안하고 이 프레임워크를 이용하여 품질을 측정하는 것이 유효하다는 것을 증명하였다. 또한 난이도 평가를 수행할 수 있도록 제안한 프레임 워크를 확장하고 그 유용성을 교육자료로 쓰이는 슬라이드를 이용하여 확인하였다. 이 연구에서 제안한 프레임워크는 다른 종류의 문서의 정보 품질 및 난이도 평가에도 적용될 수 있는 확장성 있는 프레임워크이며 품질 및 난이도 측정 관련 분야에 중요한 연구이다.
