Traditionally consumers visited the offline store, examined the suitability of a product by swatching, and finally made a purchase decision. Recently, it is possible to examine the suitability by virtual makeup techniques and buy a product through online shopping instead of visiting the offline store. The virtual makeup can also be utilized at the offline store to prevent possible sanitation problems associated with swatching. Faithful color reproduction is one of the most important factors in the workflow of online purchased cosmetic products using virtual makeup technologies. In other words, the color difference between the virtual and real makeup results should be minimized. However, the most of previous works on the virtual makeup focus on the recommendation of makeup style. In addition, the existing virtual makeup applications and systems require further improvement in color reproduction performance. Therefore, this study proposes an accurate lipstick color reproduction method based on the Convolutional Neural Networks. Among various factors affecting the lipstick color reproduction, color of lips before makeup, the strength of applying lipstick, and color of lipstick are considered in this study. Experimental results indicate that the proposed method with the CIELab color space results in the minimum value of the color difference between the virtual and real makeup. In addition, it results in the best performance when compared with the existing methods.
기존에는 사용자가 오프라인 매장에서 화장품을 미리 사용해 보고 구매를 결정하였다. 최근들어 사용자가 매장을 방문하지 않고도 가상 화장을 통해 화장품의 색상 등을 확인한 후 온라인으로 화장품을 구매하는 워크 플로우가 가능하게 되었다. 이와 같은 가상 화장은 오프라인 매장에서 화장품을 테스트해보기 위해 얼굴 또는 손등에 직접 화장할 때 발생할 수 있는 위생 문제를 해결하기 위하여 활용될 수 있다. 가상 화장을 통한 화장품 구매 결정을 위해서는 정확한 색 재현이 필수적이다. 다시 말하면, 가상 화장 결과와 실제 화장 결과 사이의 색차가 최소화 되어야 한다. 하지만, 가상 화장에 대한 기존의 연구는 사용자 얼굴에 적합한 화장 스타일 추천 등에 주안점을 두고 있다. 마찬가지로, 현재 사용되고 있는 가상 화장 어플리케이션이나 시스템들에서는 색 재현 성능의 획기적인 개선이 요구된다. 따라서 본 연구에서는 Convolutional Neural Networks 알고리즘을 사용하여 정확한 색 재현을 구현하는 방법을 제안한다. 립스틱 색 표현에 영향을 끼치는 다양한 요소들이 있지만, 본 연구에서는 화장 전의 입술 색상, 립스틱을 바르는 강도 및 립스틱의 색상 등이 고려되었다. 다양한 실험을 통하여 제안하는 방법이 CIELab 색 공간에서 적용하였을 때 기존의 방법들과 비교하여 실제 화장과 가상 화장 사이의 색차를 최소화 할 수 있음을 확인하였다.
