SVM理解(一)

SVM的理解如下:

一、SVM的基本概念 定义:SVM,全称支持向量机,是机器学习中一项重要且历史悠久的算法。 目标:在给定的数据集上找到一个最佳超平面,使得两类点被有效地分开,且这个超平面与两类点的最近距离最大。 关键要素:支持向量是那些参与决策、距离超平面最近的点。

二、SVM的数学推导 超平面表示:超平面由方程w·x + b = 0表示,其中w为法向量,b为偏置。 距离公式:任意点到超平面的距离为|w·x + b| / ||w||。 目标函数:对于线性可分数据集,目标是最大化所有支持向量到超平面的距离,即求解max min{||w||, 1 / ||w||},同时满足对于所有样本点,有y_i >= 1。 求解过程:通过拉格朗日乘子法将对原问题的约束条件转换为对偶问题,目标函数变为max Σα_i 1/2ΣΣα_iα_jy_iy_jx_i·x_j,其中α_i为拉格朗日乘子,并受到约束条件Σα_iy_i = 0,0 ≤ α_i ≤ C的限制。

三、软间隔问题 定义:当数据集不是完全线性可分时,允许一定程度的错误容忍,这种容忍度通过引入松弛因子C来控制。 目标函数调整:在硬间隔的基础上,目标函数调整为最小化最大化间隔损失函数,同时满足样本点与超平面的距离小于C。

四、核函数 定义:为解决非线性可分问题,引入核函数将低维数据映射到高维空间,使得数据在高维空间线性可分。 常见核函数:包括多项式核、径向基核等。

五、总结 SVM的特点:结合了数学的严谨性和工程的实用性,具有强大的分类能力。 应用与挑战:在机器学习领域拥有广泛的影响力,但在选择核函数和参数调整上需要一定的技巧。随着深度学习的发展,SVM虽然不再是主流,但仍具有其独特价值。