As news media have been expected to provide credible news contents to readers, the credibility of news media is mainly decided by how much more credible contents the news media provide and deliver. In traditional media, staff editors go through articles and arrange news contents to enhance their media credibility. By contrast, in social news services, general users play an important role in selecting news contents through voting behavior as it is practically impossible for staff editors to investigate thousands of articles sent to the services. Therefore, social news services have strived to develop news ranking algorithms that screen valuable news contents. However, the fundamental problem is that users' participation often stands for popularity rather than credibility.
In this paper, we propose a novel way to aggregate users' votes to effectively find credible news contents. We differentiate each user's votes based on the users' voting history by tracing out what credibility values the article which the user voted for has. Then we suggest two aggregation methods, 'one person, one vote' voting-based method using only elite users' votes and weighted voting-based method using all voters' weighted votes. To examine whether the proposed system shows better performance in selecting credible news contents, we adopt the proposed systems in other news pools and have the selected articles assessed by general users and journalism experts.
As a result, the credibility scores calculated by the proposed systems show significantly higher correlation with assessed journalistic credibility, while the number of votes by popularity-based ranking system currently used in many social news services does not. Also, top-ranked news contents in the proposed system have significantly higher credibility scores than those in current popularity-based ranking systems.
인터넷의 등장으로 뉴스의 생산, 유통, 소비의 모든 부분에 걸쳐 큰 변화가 일어나고 있으며 일반 아마츄어 블로거/기자들에 의한 뉴스의 생산, 선택, 평가가 Digg, Reddit, 다음 뷰와 같은 소셜 뉴스미디어를 통해 활발하게 이루어지고 있다. 이와 같은 현상을 참여 저널리즘(Participatory Journalism) 혹은 시민 저널리즘(Civic Journalism)이라 일컫는다.
전통적인 뉴스 미디어가 그러하였듯, 소셜 뉴스 미디어도 정보 제공자로서 매체 신뢰도의 문제에서 자유로울 수 없으며 매체의 신뢰도는 결국 해당 매체가 다루는 콘텐츠에 대한 평가로 이루어진다. 전통적인 뉴스 미디어에서는 전문적인 편집자가 신뢰도 있는 뉴스를 선정하여 배포함으로 매체의 신뢰도를 유지할 수 있었지만, 소셜 뉴스 미디어에서는 유저의 추천 행동에 의해 뉴스가 결정되는 방식이 널리 사용됨에 따라 신뢰도의 문제가 대두되고 있다. 하지만 유저들의 추천은 왜곡될 수 있으며 그 속성 상 신뢰도보다는 인기도를 반영한다는 한계점이 존재한다.
이 연구는 소셜 뉴스 미디어 사용자 중 신뢰도가 높은 콘텐츠에 추천하는 엘리트 사용자 집단이 있을 것이며 이들의 추천이 적합한 추천 시스템과 결합될 경우 신뢰도를 기반으로 하는 랭킹 시스템을 개발할 수 있다는 가정으로 시작되었다. 뉴스의 신뢰도를 평가하기 위해 언론정보학에서의 매체 신뢰도 측정에 대한 연구를 기반으로 하였으며, 이를 바탕으로 두 가지 CredibilityRank를 제시하였다. 첫째는 엘리트 유저 그룹을 구분한 후 그들에게 1인 1표의 일반적인 추천 시스템을 적용한 Simple Voting-Based CredibilityRank이며 두 번째로는 모든 사용자에게 다른 가중치를 둔 가중투표제를 기반으로 하는 Weighted Voting-Based CredibilityRank이다.
결과적으로 기존 다음 뷰 서비스에서 사용되고 있는 인기도 기반 추천 시스템이 신뢰도 점수와 아무런 상관관계를 갖지 않는 반면, 제시된 방법론의 경우 두 가지 방법론 모두 신뢰도 점수와 유의미한 상관관계를 갖는 것으로 평가되었다. 두 가지 방법론 중에서는 Weighted Voting CredibilityRank의 상관계수가 0.492로 더 높은 상관관계를 보이는 것으로 평가되었다. 또한 총 10주에 걸쳐 상위 랭킹 뉴스 5개의 뉴스를 평가한 결과 제시된 방법론의 신뢰도가 인기도 기반 랭킹 시스템의 결과보다 더 높은 신뢰도를 가졌음을 볼 수 있었다.
이 연구는 뉴스의 본문 내에서 신뢰도와 관련된 요소를 찾는 Credibility Indicator 관련 연구와는 다른 흐름에 있으며, 저널리즘의 미래라고 일컬어지는 '시민 저널리즘'에서의 뉴스 편집, 선정, 배포 방식을 활용하였다는 점에서 향후 여러 형태의 시민 저널리즘에서 널리 사용될 수 있을 것이라 기대된다.
