首页 > 编程技术 > python

人工智能-Python实现岭回归

发布时间:2022-1-15 13:58 作者:是梦吧,是你吧!

本文介绍人工智能-Python实现岭回归, 是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法

1 概述

1.1 线性回归

对于一般地线性回归问题,参数的求解采用的是最小二乘法,其目标函数如下:

argmin\left \| Xw-y \right \|^{2}

参数 w 的求解,也可以使用如下矩阵方法进行:

w=(X^{T}X)^{-1}X^{T}y

这个公式看着吓人,其实推导过程简单由(y=wX推导而来,纸老虎)
对于矩阵 X ,若某些列线性相关性较大(即训练样本中某些属性线性相关),就会导致
的值接近 0 ,在计算\left ( X^{T}X\right )^{-1}时就会出现不稳定性。
结论 : 传统的基于最小二乘的线性回归法缺乏稳定性。

1.2 岭回归 

岭回归的优化目标:

argmin\left \| Xw-y \right \|^{2}+\partial \left \| w \right \|^{2}

 对应的矩阵求解方法为:                

w=(X^{T}X+\partial I)^{-1}X^{T}y

岭回归(ridge regression) 是一种专用于共线性数据分析的有偏估计回归方法。
是一种改良的最小二乘估计法,对某些数据的拟合要强于最小二乘法。

1.3 过拟合

图二就是正常拟合,符合数据的趋势,而图三,虽然在训练集上拟合得很好,但是出现未知数据时,比如Size很大时,根据目前拟合来看,可能得到的结果很小,与实际误差会很大。 

2 sklearn中的岭回归

在sklearn库中,可以使用sklearn.linear_model.Ridge调用岭回归模型,其主要参数有:

• alpha:正则化因子,对应于损失函数中的

原文出处:https://blog.csdn.net/weixin_46039719/article/details/122377

您可能感兴趣的文章: