1.评估方法
留出法：分层采样，全部样本的x%用来作为训练样本，1-x%用来作为测试样本
交叉验证：K折交叉验证，样本分成k份，每次按顺序取k-1份训练样本，生另一分作为测试样本。
自助法：随机取样，每次随机挑出样品一个放入样品级，重复m次，得到训练集合 ，剩下没有被抽中的样品作为测试。
2.性能度量
A.
| 错误率 | 精度 |
|---|---|
| x/m | 1-x/m |
x :预测错误的样本数量
m:样本的全部数量
B.
查准率和查全率
| 真实 | 预测的正例 | 预测的反例 |
|---|---|---|
| 正例 | TP（真正例） | FN（假反例子） |
| 反例 | FP（假正例） | TN（真反例） |
P（查准率） = TP / (TP+FP)
R（查全率） = TP/(TP+FN)
C.
ROC 和AUC
ROC ：以FPR 和 TPR 为x,和y轴绘制的曲线，下方的面积是AUC。
FPR：FP/（TN+FP）
TPR：TP/（TP+FN）
绘制ROC:这里写链接内容
D.
敏感代价错误率
P = (F(cost01) +F(cost10))/m
F(cost01):把0认成1的样品代价总和
F(cost10):把1认成0的样品代价总和
3.偏差，泛化误差和方差