西瓜书--模型评估与选择（上）
经验误差与过拟合
##错误率
错误率（error rate）：分类错误的样本数占样本总数的比例
精度（accuracy）：精度=1-错误率
如果在m个样本中有a个样本分类错误，
则错误率：
$$E=a/m$$
精度：
$$1-a/m$$
误差error：学习器的实际预测输出与样本的真实输出之间的差异；
训练误差/经验误差：学习器在训练集上的误差；
泛化误差：在新样本上的误差。
我们希望得到泛化误差小的学习器，即在新样本上能表现得很好的学习器。。
过拟合和欠拟合
overfitting&underfitting
过拟合：当学习器把训练样本学得“太好了”的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，从而导致泛化能力下降。
欠拟合：指对训练样本的一般性质尚未学好。
造成过拟合和欠拟合的原因
很多原因可能造成过拟合，其中最常见的情况是由于学习能力过于强大，以至于把训练集样本所包含的不太一般的特性都学到了；而欠拟合则通常是由于学习能力低下而造成的。
欠拟合比较容易克服，例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数等。
而过拟合则很麻烦，而且无法避免，我们所能做到的只是“缓解”，或者说减小风险。
评估方法
留出法 hold-out
直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即
$$D=SUT, ST=$$