The number of digital healthcare mobile applications in the market is exponentially increasing owing to the development of mobile networks and widespread usage of smartphones. However, only few of these applications have been adequately validated. Like many mobile applications, in general, the use of healthcare applications is considered safe; thus, developers and end users can easily exchange them in the marketplace. However, existing platforms are unsuitable for collecting reliable data for evaluating the effectiveness of the applications. Moreover, these platforms reflect only the perspectives of developers and experts, and not of end users. For instance, typical clinical trial data collection methods are not appropriate for participant-driven assessment of healthcare applications because of their complexity and high cost. Thus, we identified the need for a participant-driven data collection platform for end users that is interpretable, systematic, and sustainable, as a first step to validate the effectiveness of the applications. To collect reliable data in the participatory trial format, we defined distinct stages for data preparation, storage, and sharing. The interpretable data preparation consists of a protocol database system and semantic feature retrieval method that allow a person without professional knowledge to create a protocol. The systematic data storage stage includes calculation of the collected data reliability weight. For sustainable data collection, we integrated a weight method and a future reward distribution function. We validated the methods through statistical tests involving 718 human participants. The results of a validation experiment demonstrate that the compared methods differ significantly and prove that the choice of an appropriate method is essential for reliable data collection, to facilitate effectiveness validation of digital healthcare applications. Furthermore, we created a Web-based system for our pilot platform to collect reliable data in an integrated pipeline. We compared the platform features using existing clinical and pragmatic trial data collection platforms.
Digital healthcare mobile application들은 스마트폰의 광범위한 보급과 모바일 네트워크 개발로 인해 폭팔적으로 성장하고 있다. 하지만 이들 중 소수의 Application 들만 적절히 검증을 받고 있는 문제가 있다. 일반적으로 다른 Mobile Application과 같이 healthcare application들은 안전하다고 간주되며, 이에 따라 시장에서 개발자와 고객사이에 직접 거래 되는 특성을 가지고 있다. 그러나 이런 특성에 따라 현존하는 플랫폼 기술들은 이 application의 효과를 평가하기 위한 신뢰성 있는 데이터를 수집하는 데 적절하지 않으며, 더욱이 이 플랫폼들은 사용자들이 아닌 개발자와 전문가들의 시각만 반영하고 있다. 예를 들면 일반적인 임상 시험 data 수집 방법들은 높은 비용과 복잡성 때문에 참여자 주도적인 healthcare application 평가에 적절하지 않다. 그러므로 우리는 application의 효능 검증을 위한 첫 번째 단계로 사용자들이 직접 참여하여 주도적으로 data를 수집할 수 있는, 해석가능하고 체계적이며, 지속적인 data 수집 플랫폼의 필요성을 발굴하였다. 참여 시험 형태로 data를 신뢰성 있는 데이터를 수집하기 위해서 우리는 각 단계를 data 준비, 저장, 공유로 나누고 이를 정의하였다. 해석 가능한 data 준비 단계는 protocol database 시스템과 의미론적인 특징을 검색할 수 있는 방법을 제공하여 전문지식이 없이도 protocol을 생성할 수 있는 방법을 제공한다. 체계적인 data 저장 단계는 수집되는 data의 신뢰성을 측정할 수 있는 계산 방법을 포함한다. 지속적인 data 수집 단계는 신뢰성 계산 방법과 미래 보상 분배 방법을 통합하였다. 우리는 이 방법들을 검증하기 위해 718명의 참여자들을 모집하여 통계적인 시험을 진행했다. 이 시험의 결과에서 우리는 비교 대상의 방법 대비 우리가 제안한 각 단계별 방법들이 중요한 의미가 있으며 digital healthcare application의 효능 검증을 위한 신뢰도 있는 데이터 수집에 있어 적절한 방법들의 선택이 필요함을 보였다. 나아가 우리는 제안한 방법들을 모두 통합한 web 기반의 파일럿 시스템을 개발하였고, 기존의 임상 시험과 실용 시험의 data 수집 플랫폼과 기능 비교를 진행하였다.
