第二章 模型评估与选择
评价标准：
- 回归模型评估：均方误差 MSE
- 分类模型评估：错误率 E 和精度 acc（两者互补）
代价函数与代价敏感：
损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
上述的acc就是一个代价均等的函数，每一类分类错误的后果是一样的。
为了确保泛化误差的稳定性，从而得到理想的模型，我们就需要利用K折验证法，其一般流程如下：
(1) 将数据集分为训练集和测试集，测试集放在一边。
(2) 将训练集分为 k 份，每次使用 k 份中的1 份作为验证集，其他全部作为训练集。
(3) 通过 k 次训练后，得到了 k 个不同的模型。
(4) 评估 k 个模型的效果，从中挑选效果最好的超参数。
(5) 使用最优的超参数，然后将 k 份数据全部作为训练集重新训练模型，得到最终所需模型，最后再到测试集上测试。
参数与调参：
模型参数：参数属于模型内部的配置变量，它们通常在建模过程自动学习得出。如：线性回归或逻辑回归中的系数、支持向量机中的支持向量、神经网络中的权重。
模型超参数：超参数属于模型外部的配置变量，他们通常由研究员根据自身建模经验手动设定。如学习速率，迭代次数，层数、K近邻中的K值。
第三章 线性模型
在线性回归中，当以均方误差为代价函数时，对其求解的方法称为最小二乘法。均方误差对应于欧氏距离，最小二乘法就是试图找到一条直线，使所有样本到直线上的距离之和最小。
这里的代价函数关于求解参数是凸函数，因此当偏导数为0时就是使代价函数最小的最优解。推导过程需要学习一下矩阵的求导法则。
第五章 神经网络
BP算法：
BP算法是包含两个部分，第一个部分是forward pass，算出Z，Z需要代入到激活函数的导数中求出具体值供backward pass计算；第二个部分是backward pass，用于求偏导数。