With the growth of global pet ownership and spending, the veterinary industry faces the challenge of a critical shortage of competent veterinarians to provide timely and quality services for companion animals. While amplifying the number of veterinarians can be seen as an alternative, this measure alone is inadequate to fill the voids of veterinarian competency in the coming years. One of the major reasons is proficiency in veterinary medicine needs several years of experience beyond the mandatory eight years of education. Recently, artificial intelligence (AI) technology is widely believed to have the potential to assist human intelligence. Nevertheless, if such a technology is to be implemented in veterinary medicine as a means to alleviate veterinarian shortage, it needs to offer more capability than just learning the pattern in veterinary data, to catch up with the level of veterinarian knowledge. For this reason, we see a need to leverage the power of the AI model that has already been embedded with knowledge relevant to veterinary medicine as a technology that can assist the current veterinary capacity to handle the increasing clinical load. We assess PubMedBERT as an example of a model that bears the knowledge of biomedical science including those of veterinary healthcare. We leverage the use case of classifying pet disease given the laboratory test results which are presented in the form of structured data. Throughout our experiments, we observed that this kind of model indeed yields better performance than data-driven models without knowledge. We also found out that such superiority in performance comes from the knowledge specific that resides in the model complemented by the text serialization technique that properly projects the structured data into an unstructured type that can be well handled by the model. Additionally, we show that the knowledge embedded in this model is transferrable to a lightweight model through the knowledge distillation technique. This enables a smaller and more practical model (35 times smaller and 25 times faster than PubMedBERT when executed using CPU) that does not have prior knowledge about veterinary medicine to properly comprehend the contextual understanding of semantic features in the data. Further, we also show that models embedded with veterinary-relevant knowledge are generally proficient in handling tasks from other domains.
전 세계적으로 증가하는 애완동물 소유와 소비로 인해 수의사 산업은 반려동물을 위한 품질 높은 서비스를 제공하기 위해 역량 있는 수의사의 심각한 부족에 직면하고 있습니다. 수의사의 수를 확대하는 것은 대안이 될 수 있지만, 수의사 수 확대 전략 만으로는 앞으로 몇 년 동안 발생할 수의사 부족 문제를 해소하기에는 충분하지 않습니다. 이는 전문적인 수의학 지식을 쌓기 위해 8년 이상의 교육과 경험이 필요하기 때문입니다. 최근 산업계에서는 인공지능(AI) 기술이 인간 지능을 보조할 수 있는 잠재력을 가지고 있다고 여겨지고 있습니다. 그러나 이러한 기술이 임상영역의 수의사 부족 문제를 완화하기 위해 도입되려면, 단순히 수의사 데이터의 패턴 학습을 넘어서 수의사 지식 수준을 따라가야 합니다. 따라서 우리는 이미 수의학 관련 지식을 내장한 AI 모델을 활용하여, 현재의 수의사 역량을 지원하는 기술로 사용할 필요가 있다고 판단합니다. PubMedBERT는 수의학을 포함한 바이오 메디컬 과학 지식을 보유한 모델로, 구조화된 데이터 형식으로 제공된 실험 결과를 고려하여 애완동물 질병을 분류합니다. 우리의 실험 결과에 따르면, 이러한 모델은 데이터 기반 모델보다 우수한 성능을 보여주며, 이는 모델이 내재된 특정 지식과 구조화된 데이터를 텍스트 직렬화 기술을 통해 올바르게 처리함에 기인합니다. 또한, 이 모델에 내장된 지식이 지식 증류 기술을 통해 경량 모델로 전이 가능하다는 것을 확인했습니다. 이는 CPU를 사용할 때 PubMedBERT보다 35배 작고 25배 빠른 더 작고 실용적인 모델을 만들어내어, 수의학에 대한 사전 지식이 없어도 데이터의 의미적 특징에 대한 문맥적 이해를 올바르게 할 수 있습니다. 더불어, 수의학 관련 지식이 내장된 모델이 일반적으로 다른 도메인의 작업을 처리하는 데 능숙하다는 것도 확인했습니다.
