희박한 최소 절대 편차 지지벡터기계

Sparse Least Absolute Deviation Support Vector Machine

고전적인 지지기계벡터가 어떤 부등식 제약 조건에서 최적화 문제의 해를 구하는 것에 비해 최소 제곱 지지기계벡터는 이 부등식 제약 조건을 등식 제약 조건으로 변환하여 문제의 해를 구한다. 따라서 최소 제곱 지지기계벡터는 행렬을 이용하여 정확 해를 구할 수 있어 회귀와 분류문제의 많은 분야에서 탁월한 성과를 이뤘다. 그러나 최소 제곱 지지기계벡터에서 구한 해는 이상치에 민감하고, 고전적인 지지기계벡터의 장점인 희박한 지지벡터를 제공하지 못한다는 단점이 있다. 이를 해결하기 위해 본 논문에서는 최소 절댓값 손실함수를 이용함으로써 이상치에 강건한 최소 절대 편차 지지기계벡터의 해를 구한다. 또한, 지지벡터의 희박성을 위해 재귀적 축소 최소 제곱 지지기계벡터를 이용하는 방법을 제시하고자 한다. 최소 절댓값 손실함수의 최적화 문제를 해결하기 위해 분리-브레그만 반복 방법을 사용하여 정확한 해를 구하였다. 본 논문에서 제시한 방법은 기존의 최소 제곱 지지기계벡터가 가지는 단점을 극복하는 효율적인 방법으로 간단한 수치 자료와 벤치마크 자료의 분석 결과가 해의 강건성과 희박성 측면에서 기존 결과와 비교할 만한 수준을 보였다.

The support vector machine solves a quadratic programming problem with linear inequality and equality constraints. However, it is not trivial to solve the quadratic problem. The least squares support vector machine(LS-SVM) solves a linear system by equality constraints instead of inequality constraints. LS-SVM is a popular method in regression and classification problems, because it effectively solves simple linear systems. There are two issues with the LS-SVM solution : the lack of robustness to outliers and the absence of sparseness. In this paper, we propose a sparse and robust support vector machine for regression problems using the least absolute deviation support vector machine (LAD-SVM) and recursive reduced LS-SVM (RR-LS-SVM). The split-Bregman iteration gives the exact solution for the LAD-SVM problem, while RR-LS-SVM gives a sparse solution with a much smaller number of all support vectors. Numerical experiments with simulation and benchmark data demonstrate that the proposed algorithm can achieve comparable performance to other methods in terms of robustness and sparseness.