By data flood produced by automation of business activities and rapidly changed business environment, knowledge discovery in databases (KDD), namely methodologies for extraction useful knowledge from database, came to play a very important role in business. Especially, data mining, the heart of the KDD process, has been taking a lot of attentions and many researchers have been trying to develop efficient data mining methodologies or algorithms. Though a lot of algorithms have been developed, there remain many problems unsolved. Among them, we focused on feature handling area, especially feature weighting and mixed feature problems. We developed three algorithms-MBNR, k-representatives algorithm, and k-GR algorithm, for the problems. The performance of each algorithm is proved by datasets from UCI Machine Learning Repository.
MBNR (Memory-Based Neural Reasoning) is a hybrid system of Case-Based Reasoning (CBR) and Neural Network. CBR has a very simple and comprehensible reasoning process but its prediction accuracy is a little low. In contrast to CBR, Neural Network shows very accurate prediction ability in many areas but it takes black-box approach, which means that it doesn't provide comprehensible knowledge to users. The basic reasoning process of MBNR is that of CBR. The integrated Neural Network provides feature weights according a query coming to the system. The proposed hybrid system takes strengths from both CBR and Neural Network and provides very accurate and comprehensible prediction results.
k-representatives algorithm is a efficient algorithm for clustering nominal data. Most of previous clustering algorithms for nominal data use the number of mismatching nominal features as the difference measure. They don't take the similarity between values into account and only consider they are same or not. k-representatives algorithm provides a new iterative refinement clustering approach with consideration of the similarity between nominal values.
k-GR (Generalized Representatives) algorithm enables clustering objects with mixed features of numerical and nominal ones. Until now, analysts usually encoded each numerical feature into binary classes with acceptance of loss of information. k-GR algorithm enables clustering mixed data without any converting or encoding.
Customer relationship management is one of the most active data mining application areas. In today's business environment, it is essential to many companies to gather significant numbers of large and heterogeneous databases, analyzed them and apply the acquired knowledge in order to develop new business strategies and opportunities. We propose a new CRM process for building advanced strategies. Because k-GR algorithm enables us to integrate many characteristics (nominal and numerical features) into clustering, we applied it to the customer segmentation step of the CRM process in order to obtain sophisticated segmentation. We can acquire a lot of useful knowledge for marketing strategies from the segmentation results. We can also build long-term marketing strategies based on Transition Paths made from the segmentation results. Lastly, we applied weighted CBR to predict new customers' favorite brand groups with only age, gender, and nationality because other characteristics such as their RFMs don't exist. We applied these methodologies to a real duty free shop and showed the results of every step.
데이터 베이스 및 정보 시스템의 활용도가 증가함에 따라 기업이 보유하게 되는 데이터의 양이 빠르게 증가하고 있다. 빠르게 변화하는 사업 환경에 적절히 대응하기 위해서 기업이 보유하고 있거나 또는 얻을 수 있는 데이터로부터 유용한 지식을 추출해 내고 이를 활용하는 것이 매우 중요한 역할을 하게 되었다. 이러한 지식 추출 및 활용의 과정을 KDD (Knowledge Discovery in Databases) 라고 한다. 특히, 데이터 마이닝은 KDD 의 가장 핵심적인 단계이며, 따라서 데이터 마이닝 방법론 또는 알고리즘을 개발하기 위해 많은 연구가 이루어 졌다. 지금까지의 연구를 통해 데이터 마이닝 분야에서 많은 문제들이 해결되어 왔지만, 아직도 해결되지 않은 문제들이 많아 실제 응용에 있어 적용할 수 있는 적절한 방법론을 찾지 못하는 경우도 많다.
본 연구에서는 이런 문제들 중에서 Feature Handling 에 초점을 두었다. 특히 각 feature 들의 중요성을 결정하는 feature weighting 문제와 실제로 많은 데이터가 그렇듯, nominal feature 와 numerical feature 가 혼합되어 있는 데이터를 다루는 문제를 다루고자 한다. 이를 위해 MBNR, k-Representatives Algorithm, k-GR Algorithm 의 세 가지 알고리즘을 개발했고, UCI Machine Learning Repository 에서 가져온 데이터를 이용하여 각 알고리즘들의 성능을 평가하였다.
MBNR(Memory Based Neural Reasoning) 은 classification 에서 각광 받고 있는 방법인 CBR(Case-Based Reasoning) 과 Neural Network 의 hybrid system 이다. Neural network 을 통해서 정교하게 계산된 feature weights 를 CBR 에 제공하여 Classification 의 정확도를 크게 높이게 된다. 또한 이 시스템은 reasoning 의 결과로 nearest case 들을 제공하기 때문에 결과 해석이 매우 쉽다는 장점이 있다.
k-Representatives Algorithm 은 Nominal Feature 로만 이루어진 Data 에 클러스터링을 적용할 수 있는 알고리즘이다. 기존의 관련 알고리즘들은 대부분 Instance 간에 단순히 같은 값을 몇 개나 가지냐를 기준으로 클러스터링 했으나, 본 연구에서 제안하는 k-Representatives 알고리즘은 Nominal value 들 간의 거리를 측정하여 보다 정교한 클러스터링 결과를 제공한다.
k-GR(Generalized Representatives) Algorithm 은 Nominal Feature 와 Numerical Feature 가 같이 있는 Data 를 클러스터링 할 수 있는 알고리즘이다. k-GR Algorithm 에서는, 각 feature 에 대한 Standardization 을 통해 클러스터링에 대한 feature 들의 영향력을 동일화 시켜 numerical feature 및 nominal feature 들로부터 얻어지는 각 feature distance 들을 통합하여 하나의 distance measure 를 구하게 된다.
본 연구에서는 이렇게 정립된 방법들을 이용하여 발전된 모습의 고객관계관리(CRM : Customer Relationship Management) 전략을 수립하는 방법을 제안 한다. 기존의 분석적인 CRM 방법에서는 고객의 수치적인 데이터 또는 인구 통계학적인 데이터과 같은 비수치적인 데이터 중 일부만을 이용하여 Clustering 하고 각 그룹(cluster)에 대한 개별적 관리를 하는 것이 주된 CRM 전략 중 하나였다. 본 연구에서 제안된 clustering 방법론(k-GR algorithm)을 이용하여 구매기록과 같은 수치적인 데이터 뿐만 아니라 비수치적으로 나타나는 고객정보를 함께 고려한 고객 분류 방법을 제안한다. 이는 비수치적인 데이터로 나타나는 고객 profile(성별, 거주지 등), 고객의 구매 취향 등과 수치적으로 나타나는 고객의 구매 패턴 등을 함께 고려하여 이들의 연관 패턴에 기반한 고객 클러스터링을 가능하게 해 주어, 기존의 고객 분류 방법에 비해 훨씬 고차원적이고 유용한 고객 분류 정보를 얻을 수 있도록 해 준다. 또한 본 연구에서는 이렇게 얻은 고객 분류 정보를 기반으로 장기적이고 구체적인 고객 관리 전략 수립 방법을 제안 한다. k-GR algorithm을 통해 얻은 고객 분류 정보는 고객 그룹간의 관계를 수치적으로 표현해 줄 수 있기 때문에, 이를 응용하여 고객 그룹의 특성에 따라 그룹간의 관계를 network 으로 표현하고 각각의 고객 그룹을 보다 낳은 고객 그룹으로 어떻게 이동 시켜 나갈지 고객들의 장기적인 Transition Path 를 계획할 수 있다. 또한 고객 분류 정보에는 수치적이든 비수치적이든 유용하다고 판단되는 정보가 모두 포함되어 있으므로, Transition Path 내의 각 단계별로 적용 가능한 고객 관리 전략을 구체적으로 또한 다양하게 수립할 수 있게 된다. 마지막으로 아직 구매 패턴 등의 behavior data 가 없는 신규고객에 대해서 성별, 국가, 나이 등 미리 알 수 있는 Data 에 weighted CBR 을 적용하여 대응전략을 수립하는 방법을 제안한다. 제안되는 모든 CRM 방법은 국내 면세점의 고객 데이터에 적용하여 그 결과를 확인하였다.
