请说一下逻辑回归(LR)和支持向量机(SVM)之间的相同点和不同点
相同点
LR和SVM都是分类算法
LR和SVM都是监督学习算法
如果不考虑核函数,LR和SVM都是线性分类算法,分类决策面都是线性的。
LR和SVM都是判别模型:条件概率
不同点
目标函数不同:逻辑回归方法基于概率理论,是两类的交叉熵;支持向量机是几何间隔最大化,认为几何间隔最大化的分类面为最优分类面。
使用的样本量不同:支持向量机理论上只考虑分类超平面附近的点,而逻辑回归考虑所有的样本。
在解决非线性问题时,支持向量机采用核函数的机制,而LR通常不采用核函数的方法。(LR考虑所有样本的点,使用核函数的话计算复杂)
SVM是结构风险最小化,损失函数自带正则;LR如果要带正则的化需要额外添加。