为什么把特征组合之后还能提升，反正这些基本都是增强了特征的表达能力，或者说更容易线性可分

[ghostband]

我看到一个大神的博客写的这句话，但是不是很理解。

特征组合之后，为什么会更容易线性可分 应该怎么理解呢

[cathyxlyl]

这是一个空间变换的问题~

首先需要抓住一个关键，理解什么是线性可分。线性可分的定义是一个线性函数可以将两类样本完全分开。比如说在二维平面内，就是指一条直线能区分开来两类样本；对应到分类器中，就是指我们有x1、x2两个特征，那么这条分界直线的解析表达式是ax1+bx2+c=0，ax1+bx2+c>0是一类样本，ax1+bx2+c<0是了另一类的样本。更进一步的说，就是分界线（面）可以由一个“多元一次方程式”来表达。

下面问题来了，假设两类样本的真实分界线是一个圆（x1^2+x2^2+a=0），或者一条双曲线（xy+a=0）,在原来的二维空间中，我们能否找到一条直线分开两类样本？答案明显是不能的。但如果我们非要用直线区分样本呢？那就做空间变换吧。对于上面分界线是圆的情况，将原来的（x1,x2）映射到（x1^2,x2^2）;对于双曲线的情况，将原来的（x1,x2）映射到（x1x2），是不是在新的空间中，又可以用一条直线把两类分来啦~~（注：空间变换严谨点应该用基向量来表示，这里讲个意思，不要介意）

所以提到特征组合，实际上做的就是空间变换，更准确说是把原有的特征空间映射到了一个更加高维的特征空间中。在一个真实问题中，我们并不知道分界线到底是圆还是双曲线还是别的什么，所以对于上面的例子，我们一般会尝试把原来的（x1,x2）映射到（x1,x2,x1^2,x2^2,x1x2），正所谓扩大搜索范围。特征组合增强了特征的表达能力，基本等价于说高维空间比低维空间更有表达力。

[ghostband]

@cathyxlyl 多谢多谢，理解了。

[dantezhao]

直达本质，一看就懂