@TOC
一、求导法则
本文采用矩阵求导中的分母布局，即：分子横向，分母纵向
- 乘法公式：
- 加法公式：
二、两个常用例子
例子1
，其中
，
所以：
例子2
，其中
，
化简得
所以：
从上面两个例子中可以得到两个结论：
接下来我们会用到上面的两个结论
三、最小二乘法
1. 没有加权的回归
各个参数形式如下：
将最小二乘表示成矩阵相乘的形式
对上述形式的矩阵求导得到最终的结果
整理得： ，将
带入原式
2. 加权回归
各个参数形式与没有加权的回归一致
将最小二乘表示成矩阵相乘的形式
对上述形式的矩阵求导得到最终的结果
整理得： ，将
带入原式