特征工程

特征工程(Feature engineering)使用先验知识或直觉来转换或组合原始特征，从而设计出新的特征，进而简化算法或者使预测结果更准确。

1 特征选择

比如为了预测房屋的价格，原始的特征为房屋占地大小的宽度 $x_1$ 和长度数据 $x_2$。但是占地面积可能是更好的预测价格，所以就可以创造出新的特征占地面积。

$x_3 = x_1x_2$

2 多项式回归

线性回归并不适用所有模型，有时我们需要用曲线来拟合我们的数据，可以使用多项式回归，用来拟合曲线，通过对某个特征进行幂次得到。

比如将 $x^2$ 也作为一个特征，可以看出可以更好的符合数据。

二次项

但是二次函数最终会下降，这不符合“面积越大，房子越贵”的常识。所以可以再加一个三次项。

三次项

对于多项式，可以看出每个项的参数范围差别非常的大，所以需要使用特征缩放将特征转换为可以比较的范围内。

使用三次项后，后面房价随面积快速上升，还可以使用根号项，从下图曲线可以看出，房价随着面积缓慢上升，符合预期效果。