A complex computational task is solved by dividing it into a number of computationally simple tasks and then combining the solutions to those tasks. The combination of experts is said to constitute a committee machine. They may be classified into static structures and dynamic structures.
Boosting works by repeatedly running a given weak learning algorithm on various distributions over the training data, and then combining the classifiers produced by the weak learner into a single composite classifier. AdaBoost is the most popular boosting algorithm.
Bagging predictor is a method for generating multiple versions of a predictor and using these to get an aggregated predictor. The aggregation averages over the versions when predicting a class. The multiple version are formed by making bootstrap replicates of the learning set and using these as new learning sets.
In this study, we repot results of applying both techniques to a system that learns decision tree and testing on a representative collection of datasets (SPAM E-MAIL). The error of CART is 0.1826. But the error of Bagging with CART is 0.0714 and Boosting with CART is 0.0503 when the iteration number is 800. Thus, Bagging and Boosting improve predictive accuracy, E specially we can say that AdaBoost show the greater benefit.
복잡한 계산의 일들은 여러개의 간단한 계산의 일들로 나누어 계산한 다음 그것들을 조합하여 답을 구한다. expert들의 조합을 committee machine을 구성한다라고 말하는데, 이 committee machine은 정적 구조와 동적 구조로 나눌 수 있다.
Boosting은 주어진 training data에서 ,서로 다른 분산으로 주어진 약한 학습 모델을 여러번 반복하여 실행시키고, 각각의 약한 학습 모델로 부터 만들어지는 classifier들을 조합하여 하나의 혼합된 classifier를 얻게 된다. AdaBoost는 부스팅 알고리즘 중 가장 대표적인 알고리즘이다.
Bagging은 predictor의 다중 버전에 대한 방법으로 이것을 이용해서 집합적인 predictor를 얻는다. 다중 버전은 learning set을 반복해서 bootstrap을 만들어서 새로운 learning set으로 이용하는 방법으로 형성된다.
이 논문에서는 bagging과 boosting의 방법을 learning decision tree에 적용해보고 datasets 으로 test 해 본 결과를 적는다. 그 결과,CART의 error는 0.1826이지만, Bagging의 error는 800개의 bootstrap sample을 만들었을때, 0.0714가 되고 Boosting의 error는 0.0503까지 내려가는 것을 볼 수 있다. 이것으로 Bagging과 Boosting 모두 정확성을 높이는데 크게 기여함을 알수있고, 특히 Boosting의 성능이 Bagging보다 뛰어남을 알 수 있다.
