机器学习笔记-5(正则化参数)

这部分内容不算多,那就随便扯扯好了。

为虾么需要进行正则化,那是因为线性回归模型由于参数的问题,会出现underfitting(低度拟合)和overfitting(过度拟合)的情况。

Overfitting and underfitting

欠拟/合适/过拟情况(线性回归)

Underfitting and overfitting

欠拟/合适/过拟情况(逻辑回归)

Addressing overfitting

如何解决过拟情况

也就是说,在给定的参数情况下,咱们要找到适度拟合的函数方程,而不是低度拟合和过度拟合的情况。

试想一个分布上类似抛物线的数据集(特征有点多),在咱使用线性/非线性回归进行函数拟合时,很容易就会出现过度拟合的现象,因为特征众多,构造出来的多项式方程通常都会变得很复杂,而且运算量略大。实际上的情况是,咱根本就不需要这么复杂的函数图形来拟合数据分布,只要一个大致合适的方程就可以了,过度拟合无意间增加了各种复杂度。另一方面是低度拟合的情况,明明是一条类似抛物线的分布,却使用到线性函数来进行拟合。

Overfitting Intuition

降低某些参数的权重,避免过拟

这时候,正则化参数就发挥出其强大的效果(咱目前还不太理解)。按照咱们现在的意思在计算Cost的时候,同时对参数施加处罚,降低某些参数的影响。总之正则化的目的就是得到一个“更简单”的H函数和远离过度拟合。

那么如何处理呢?就是在线性/非线性/逻辑回归的Cost函数后面附上一个正则化公式,这样就可以缩小所有参数。

Cost function+Regularization

正则化的成本函数(线性回归)

Regularized logistic regression

正则化的成本函数(逻辑回归)

这个公式,虽然知道会不断的降低了所有Theta(参数)值。但是关于lambda(正则参数)值的控制,不是很理解。不知道如何去寻找合适的lambda值,只知道不宜过大,从而导致各个Theta值无限逼近零,然后。。。。然后函数就变成一个常数。。。。。。这不是想要的结果。

后面的梯度下降处理,就是求出到导数不太一样了而已,问题不大。还有一点就是关于Theta(0)和X0的额外处理,由于x0恒处理为1,所以为了方便,应该与正则化处理分离开来。

Gradient descent+regularization

正则化的梯度下降(多变量线性回归)

Normal Equation+regularization

正则化的标准方程(多变量线性回归)

Gradient descent for logistic regression+regularization

正则化的梯度下降(逻辑回归)

优化的话,特征归一化、标准方程(可用的话)和其他高阶快速求cost算法都可以用上去。

Advanced optimization

一些高级玩法

这部分,只是初略理解了些许,后面应该会补充点。

发表评论

电子邮件地址不会被公开。 必填项已用*标注