机器学习笔记-5(正则化参数)

这部分内容不算多,那就随便扯扯好了。

为虾么需要进行正则化,那是因为线性回归模型由于参数的问题,会出现underfitting(低度拟合)和overfitting(过度拟合)的情况。

Overfitting and underfitting

欠拟/合适/过拟情况(线性回归)

Underfitting and overfitting

欠拟/合适/过拟情况(逻辑回归)

Addressing overfitting

如何解决过拟情况

也就是说,在给定的参数情况下,咱们要找到适度拟合的函数方程,而不是低度拟合和过度拟合的情况。

试想一个分布上类似抛物线的数据集(特征有点多),在咱使用线性/非线性回归进行函数拟合时,很容易就会出现过度拟合的现象,因为特征众多,构造出来的多项式方程通常都会变得很复杂,而且运算量略大。实际上的情况是,咱根本就不需要这么复杂的函数图形来拟合数据分布,只要一个大致合适的方程就可以了,过度拟合无意间增加了各种复杂度。另一方面是低度拟合的情况,明明是一条类似抛物线的分布,却使用到线性函数来进行拟合。 Continue reading “机器学习笔记-5(正则化参数)” >