For fair and effective evaluation, selection of adequate reviewers is an important problem. Especially for the task of paper review, we need to set up standardized criteria for reviewer selection and develop applying techniques for them. In this paper, we suggest a basic set of reviewer selection criteria and a recommendation model based on them. As recommendation criteria, research specialty, viewpoint similarity, and generalized recommendability are proposed.
On quantifying each of the criteria, we need to settle for the models of the input papers and candidate re-searchers. We suggest objective-oriented network models for papers and researchers in this paper. Through our network model, we represent the research topics, focused level of each topic, and relatedness of pairs of topics. For paper research field network model, we generate nodes for research keywords that represent the topics, motivation and viewpoints of the paper. Next, we assign importance score for each of the nodes for the keywords. Finally, we assign relatedness scores for links of pairs of keywords which is calculated for the wholes sets of input papers.
For expert research field network model, we generate nodes for research field keywords which are the re-searchers’ main interests. We also assign specialty value for each of the nodes that say how special the researcher is for the topic keywords. Finally, we assign related scores for the keyword pair links with the same methodological process of the ones of the paper network case.
Based on these models, we calculate specialty score and generality score. Taking consideration of the re-lated research fields, we can broaden the specialty score range. Specialty score is weighted summation of the spe-cialty values for each keyword. Generality score is the summation of the related values for each pair of keywords. These scores are weighty-summed with experimental research values.
In our procedural methodology, we need strategies for selection of evaluator candidates and finally-selected evaluators. In our paper, we count for the number of papers that the candidates have written on the subjects of the target paper as the measure for candidate ranking. As explained earlier, we use the weighted sum of special-ty/generality scores as the measure for final evaluator ranking. There can be several situational cases that demand for the candidate/final evaluator selection. We list possible cases giving adequate solutions.
We plan incremental development for our evaluator recommendation model merging with current evalua-tion cases. We can develop the constituents for each of the criteria with discussion with evaluators and evaluated researchers.
많은 논문들에 있어서 공정하고 효과적인 심사가 이루어지기 위하여서는, 적합한 평가자의 선정이 매우 중요한 문제가 되고 있다. 특히, 논문의 경우, 공정한 심사를 위한 기준이 연구자들마다 다른 경우가 많고, 심사자의 추천을 하는 방법도 학회나 저널에 따라 매우 다른 관행을 가진 경우가 많아서, 이들을 표준화하는 노력이 경주되어야 할 필요가 있다. 본 논문에서는, 논문 평가를 위한 전문가를 선택하기 위한 가장 기본적인 기준의 집합을 선정하고, 이에 따른 추천 모델을 제시한다. 평가자 선정의 기준으로 전문분야 연구에 있어서의 전문성과 연구의 방향성 제시를 위한 일반성이 제시되며, 전문성의 추가적인 기준적 요소로서, 연구분야의 유사성이 제시된다.
각각의 기준을 수량화하기 위하여, 입력 논문과 후보 전문가들의 연구분야를 모델링하기 위한 방법론이 연구된다. 본 연구에서는, 논문과 연구자들 사이의 적합성을 산출하기 위한 목적 중심적 네트워크 모델을 제안하며, 본 모델을 통하여, 각 논문 및 연구자들의 연구 주제 및 이들에 대한 관점 혹은 전문성, 또한, 연구 주제들 사이의 관련성 등을 나타내고 있다.
논문 네트워크 모델에 대하여, 각 연구분야 키워드에 대한 노드를 생성함으로써, 연구의 주제, 목적, 동기, 관점 등을 표현한다. 다음으로, 키워드의 각 노드에 중요도 점수를 할당한다. 마지막으로, 모든 입력 논문들에 대하여 계산된 키워드 쌍 사이의 논문 공기 빈도수에 의하여 나타내어지는 관련도 점수를 각 키워드 사이의 링크에 할당한다.
전문가 네트워크 모델에 대하여, 연구자의 주된 관심사가 되는 연구분야 키워드키워드들을 위한 노드를 생성한다. 각 노드에 대하여, 그 전문가가 해당 키워드에 대하여 얼마나 전문적인지를 나타내는 전문성 점수를 할당한다. 전문가 네트워크 모델에 있어서의 관련도 점수는 논문 네트워크 모델에서 구한 경우와 같다.
이 모델에 기반하여, 전문성 점수와 일반성 점수를 계산한다. 전문성 점수의 경우, 기존의 전문가 추천 모델들과는 달리, 논문 저자의 관점을 반영하는 중요도 점수를 가중치로 활용하였다. 중요도 점수의 계산은 논문 연구분야를 반영할 수 있는 민감한 사안이기도 하기 때문에, 최대한 논문 연구의 일반적 특징을 감안하여 지정할 필요가 있으며, 기본적인 사안들에 대한 결정을 바탕으로 하여, 각 연구분야의 특성 및 논문의 요구사항에 따라 조금씩 변화할 필요가 있다. 특히, 이 부분에서, 논문에 나타나는 키워드의 위치 (제목/요약문/저자 선정 키워드)에 따라 가중치를 줄 필요가 있으며, 이는 기존의 전문가 추천 시스템들의 단순 빈도수 계산 방법과는 차이를 보이고 있어서, 평가자 추천 주제의 일반적인 고려사항이 일반 문서들에 비하여 매우 복잡하고 다양함을 보여준다. 중요도 점수 계산에 있어서 또 하나 고려하여야 할 복잡다단한 요소는 바로 하나의 키워드가 논문 상에서 다양한 형태로 나타난다는 점이다. 즉, 유사한 개념의 키워드들이 유사한 의미로 쓰이면서도 그 형태적으로 드러나지가 않게 쓰이는 많은 경우들을 어떻게 볼 것이냐가 참으로 어려운 문제이다. 이러한 경우, 가장 기본적으로 우리가 사용할 수 있는 유사성의 개념은 복합어가 둘 이상의 부분으로 나뉘어서 사용되는 경우이며(예:사전 구축, 사전의 구축, 사전의 동적인 구축), 이 경우, 특히 저자 선정 키워드에서 나타나는 키워드가 제목에서 둘 이상의 부분으로 나뉘어 나타난다면 이는 연결 어휘에 의하여 연결된 주제 키워드의 빈도수에 포함시킬 수 있다. 이와 같은 논문 제목과 키워드에 나타나는 특징적 구조는 언어학적으로도 매우 흥미있게 연구되어질 수 있는 주제이며, 특히 연결 어휘가 매우 다양한 한국어에 있어서는 매우 재미있는 연구 주제이다.
전문성에 있어서, 논문 저자의 관점보다는 관련 연구자, 특히 후보 전문가들의 연구분야를 더욱 많이 보고자 하는 경우에 있어서는, 중요도 개념을 사용하지 않고, 단순히 후보 전문가들의 연구분야 집합에 있어서 그들의 저술 논문에 의하여 관련분야 전문성 점수를 계산할 수 있다. 이 경우는, 논문의 주제가 비교적 많이 연구되어진 경우, 그리고, 관련연구 분야가 잘 갖추어져 있다고 판단하는 경우 등에 이와 같은 방법론에 의한 전문성 점수를 사용한다.
마지막으로, 일반성 점수의 경우, 후보 전문가들의 관련 연구 분야가 폭이 넓을수록 더 연구 평가자로서의 일반화된 코멘트가 가능하리라는 가정에 의하여, 연구분야 네트워크 모델에 의하여 계산한 분야별 관련도에 따라 분야별 의미적 거리의 합을 추산한다. 이와 같은 가정은 연구자 혹은 연구분야에 따라서 매우 다른 양상을 가질 수도 있기 때문에, 일반성 요소의 적용에 대한 연구는 추후에 계속 이어져야 한다. 이는 특히 연구자들이 평가자의 입장에서, 혹은 피평가자의 입장에서 많은 관심을 두고서 생각을 모아야 하는 부분이기도 하므로, 연구분야 전반적인 이 주제에 대한 토론이 필요하며, 본 주제의 제안자로서, 몇 가지의 아이디어를 가지고는 있으나, 아직 시스템적으로는 첫번째의 생각을 위주로 구현하고 있는 상태이므로, 적용에 있어서의 안전성을 중심으로 생성이 이루어져야 한다.
또한, 전문성 점수와 일반성 점수에 대하여 어디에 어떠한 가중치를 두어야 할지에 대하여서도 연구자 및 연구분야에 따라 생각이 매우 다른 것을 볼 수가 있는데, 기술적 차원의 진보의 경우에는 일반적으로 전문성 점수에 더 가중치를 두고자 하는 경우를 볼 수 있고, 새로운 주제, 특히 융합 주제의 경우에는 일반성 점수에 더 가중치를 두려는 경우를 볼 수 있다. 이에 대하여서는, 끊임없는 연구 대화가 이루어져야 할 필요가 있으며, 연구분야 네트워크 모델이 그 수단으로 이용되어질 수 있다.
마지막으로, 평가자 후보 전문가나 최종 선정 평가자들에 대한 선별 전략이 필요하다. 평가자 후보 전문가의 경우, 기본적으로 논문의 키워드들에 대하여 저술한 논문의 개수가 적합성 점수가 되며, 전문가들별 네트워크 모델링이 완전히 자동 프로그램에 의하여 이루어질 수 없는 부분이 있기 때문에, 30명 내외의 인원으로 후보 전문가 수를 제한할 필요가 있다. 이 경우, 어느 선에서 후보군을 지정할 것이냐가 큰 문제가 되며, 이는 특히 저술 논문의 개수의 차가 매우 크지 않은(일반적으로 1,2개) 경우에 있어서, 단순하지만은 않은 문제가 되고 있기 때문에, 논문의 질적인 차원에 대한 고려나 추천자의 경험에 의한 판단 등의 요소가 포함되어야 하며, 이 과정에 대한 판단의 근거를 명기하여 대화가 이루어질 필요가 있다. 최종 평가자 선별에 있어서도 같은 문제가 발생할 수 있으나, 많은 경우, 적합성 점수에 의하여 어느 정도 합의점이 드러나는 경우가 되기 때문에, 상대적으로 쉽다고 볼 수 있다.
이와 같은 다양한 요소들에 대하여 연구분야의 연구자들과 대화를 나누어야 하는 주제이며, 실질적으로 이를 시스템화하고 적용하고자 하는 모델로서의 최초의 시도이기도 하기 때문에, 본 연구의 전문적 차원 뿐 아니라 일반적 차원에 이르기까지의 영향력적 요소는 심대하다고 판단한다.
