请说一下逻辑回归(LR)和支持向量机(SVM)之间的相同点和不同点

相同点

  • LR和SVM都是分类算法

  • LR和SVM都是监督学习算法

  • 如果不考虑核函数,LR和SVM都是线性分类算法,分类决策面都是线性的。

  • LR和SVM都是判别模型:条件概率

不同点

  • 目标函数不同:​逻辑回归方法基于概率理论,是两类的交叉熵;支持向量机是几何间隔最大化,认为几何间隔最大化的分类面为最优分类面。

  • 使用的样本量不同:支持向量机理论上只考虑分类超平面附近的点,而逻辑回归考虑所有的样本。

  • 在解决非线性问题时,支持向量机采用核函数的机制,而LR通常不采用核函数的方法。(LR考虑所有样本的点,使用核函数的话计算复杂)

  • SVM是结构风险最小化,损失函数自带正则;LR如果要带正则的化需要额外添加。

Reference

LR与SVM的异同