正规方程的另一种推导方式

---

1.损失表示方式

总损失定义为：

• yi为第i个训练样本的真实值
• h(xi)为第i个训练样本特征值组合预测函数
• 又称最小二乘法

2.另一种推导方式

把损失函数分开书写：(Xw−y)2=(Xw−y)T(Xw−y)(X**w−y)2=(X**w−y)T(X**w−y)对展开上式进行求导：

需要求得求导函数的极小值，即上式求导结果为0，经过化解，得结果为：XTXw=XTyXTX**w=XTy经过化解为：w=(XTX)−1XTyw=(XTX)−1XTy

补充：需要用到的矩阵求导公式：

dxTAdx=AdxdxT**A=A

dAxdx=ATdxdAx=A**T