How fair and reliable are the results evaluated by DrKim.Net? The professor evaluation website, which was launched in February 2018, provides a variety of research and student guidance information that would be curious to see if any graduate student were involved in the program. In particular, many prospective researchers who want to go to graduate schools can refer to it when planning to go to graduate schools and reveal the voices of the understated graduate students through anonymous evaluations, which are said to be a means to curb the so-called "Gapjil" of professors occurring inside some graduate schools. The actual atmosphere of the university's research lab, which has been known only through internal experience, and the ability of professors to share their academic, educational and living skills with outsiders are receiving great attention. In addition, if you search for the professor's name on Kim's website, you can view the professor's personality, thesis leadership, lecture delivery power, room atmosphere, and labor cost level as a pentagonal graph, and "One line Evaluation" of professors and laboratories will be released.
I had doubts about how fair and reliable the results were. 'Dr.KIM' is based on five indicators of the laboratory's atmosphere, Lecture Quality, Paper Supporting, Payment and Professor Personality, and can be evaluated with a perfect score of five for each index. Some scholars argue that the qualitative assessment of most others is wrong. When making a qualitative assessment of others, it is said that 61% of the assessment score reflects the evaluator's relationship with the evaluator, not the evaluator's performance. (Most HR Data Is Bad Data - HBR) Most evaluators are making the assessment without being aware of the potential or lack of the evaluator's results, and the survey results are reflected by the surveyor's relationship with the surveyor. This study assumed that the results of the five indicators evaluated in Dr. Kim's net were influenced by the Rater Effect, and wanted to see if these values affected the quantitative and qualitative performance of the laboratory.
김박사넷에 평가된 결과들이 얼마나 공정하고 신뢰할만한 것인가? 2018년 2월 개설된 교수 평가 사이트 김박사넷은 상기 대학원생이라면 궁금해 할법한 대학원 연구실 내의 다양한 연구 및 학생 지도 정보들을 함께 제공하고 있다. 특히 대학원 진학을 희망하는 많은 예비 연구자들이 대학원 진학을 계획할 때 참고할 수 있는데다, 그 동안 억눌려져 있던 대학원생의 목소리를 익명 평가를 통해 드러내 일부 대학원 내부에서 일어나던 교수의 소위‘갑질’을 억제할 수단이 된다는 평가를 받고 있다. 그 동안 내부에서 직접 겪어야만 알 수 있던 대학 연구실의 실제 분위기와 교수의 학문, 교육, 생활 역량을 외부 사람들과 공유할 수 있게 했다는 점에서 큰 주목을 받고 있다. 또한 김박사넷에서 교수의 이름을 검색하면 교수의 인품, 논문 지도력, 강의 전달력과 연구실 분위기, 인건비 수준 등을 오각형 그래프로 볼 수 있고, 교수와 연구실에 대한 '한줄평'도 공개된다.
본인은 과연 김박사넷에 평가된 결과들이 얼마나 공정하고 신뢰할만한 것인가 하는 의구심을 가졌다. 일부 학자들은 대부분의 타인에 대한 정성평가는 잘못되었다고 주장하고 있다. 타인에 대해 정성 평가를 할 때 평가자의 Rater Effect가 반영되어 평가점수의 61%가 피평가자의 성과가 아닌 평가자 자신과 피평가자의 관계가 반영된다고 한다.(Marcus Buckingham, Most HR Data Is Bad Data - HBR) 대부분의 평가자는 피평가자의 잠재력이나 부족한 점에 대해 정확히 인지하지 못한 상태에서 평가를 내리고 있고, 평가 결과는 피평가자와의 관계나 친분에 의해 Rater Effect가 반영 된다는 것이다. 김박사넷의 5가지 지표(연구실분위기, 강의전달력, 논문지도력, 실질인건비, 인품)은 모두 객관적인 평가지표가 아닌 평가자의 정성적인 평가에 의해 진행된다. 본 연구는 김박사넷에서 평가된 5가지 지표의 결과들이 Rater Effect에 영향을 받았다는 가정하고, 이 결과 값들이 연구실의 양적·질적 성과에 영향을 미치는지를 보고자 하였다.