拟合问题

拟合问题

1 欠拟合/高偏差

特征少，先入为主的使用直线来拟合，造成了很大的偏差，无法很好的拟合训练数据。

2 拟合良好

通过新加一个特征$x^2$，使用曲线来拟合训练数据，可以看到拟合的结果很好（并不一定是所有的数据都在曲线上），而且对新数据也能做良好的的预测，这样的模型具有泛化特性。

3 过拟合/高方差

但是如果特征过多，比如加入$x^3 x^4$等，可以完美的拟合每一条训练数据，但是对于新数据，并不能做出良好的预测，造成了过拟合。

而且只要训练数据稍微发生变化，就会拟合出完全不一样的曲线。也称为高方差。

4 过拟合的解决方法

4.1 扩大训练集

当数据量过少时，可能会发生过拟合

可以通过扩大训练集，当训练集等数据远大于特征数量时，拟合的曲线也会变得平滑。

不过训练数据不一定可以更多。

4.2 减少特征数

减少特征数也能避免过拟合。当特征很多时，可以只选取最相关的特征。

但是这样做会丢弃一些信息。

4.3 正则化

正则化并不会删除特征，对于某些不重要的特征，通过减小参数$w$，降低其影响。