2023-10-23 05:05:03

大家好，我是小典，我来为大家解答以上问题。岭回归的基本思想，岭回归，很多人还不知道，现在让我们一起来看看吧！

1、对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。

2、回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题，X通常是列满秩的

3、采用最小二乘法，定义损失函数为残差的平方，最小化损失函数

4、上述优化问题可以采用梯度下降法进行求解，也可以采用如下公式进行直接求解

5、当X不是列满秩时，或者某些列之间的线性相关性比较大时， 的行列式接近于0，即 接近于奇异，上述问题变为一个不适定问题，此时，计算 时误差会很大，传统的最小二乘法缺乏稳定性与可靠性。

6、为了解决上述问题，我们需要将不适定问题转化为适定问题：我们为上述损失函数加上一个正则化项，变为

7、其中，我们定义 。

8、于是：

9、上式中， 是单位矩阵。

10、随着 的增大， 各元素 的绝对值均趋于不断变小，它们相对于正确值 的偏差也越来越大。 趋于无穷大时， 趋于0。其中， 随 的改变而变化的轨迹，就称为岭迹。实际计算中可选非常多的k值，做出一个岭迹图，看看这个图在取哪个值的时候变稳定了，那就确定 值了。

11、岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。

本文到此讲解完毕了，希望对大家有帮助。