1、损失函数：度量预测错误的程度，评估模型单次预测的好坏。
a：0-1损失函数：
$L(Y,f(X))=begin{cases}0 & text{ if } Y=f(X) \ 1 & text{ if } Yneq f(X) end{cases}$
b：平方损失函数：
$L(Y,f(X))=(Y-f(X))^2$
c：绝对损失函数：
$L(Y,f(X))=left | Y-f(X) right |$
d：对数损失函数：
$L(Y,p(Y|X))=-log(p(Y|X))$
2、风险函数：损失函数的期望，评估模型平均预测好坏。
$R_{exp}(L(Y,f(X)))=int_{x*y}L(Y,f(X))p(X,Y)dxdy$
经验风险：关于训练集的平均损失。
$R_{emp}(L(Y,f(X)))=frac{1}{n}sum L(Y,f(X))$
经验风险最小化：
$underset{F epsilon f}{min}frac{1}{n}sum L(Y,f(X))$
eg：当模型是条件概率，损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。
结构风险：是为了防止过拟合。
$R_{srm}(L(Y,f(X)))=frac{1}{n}sum L(Y,f(X))+lambda J(f)$
eg：当模型是条件概率，损失函数是对数损失函数，模型复杂度由先验概率表示时，经验风险最小化等价于最大后验概率估计。
1、(Bayes)贝叶斯定理
2、似然函数
- x:表示一个具体数据
- $theta$:表示模型参数
- 如果$theta$已知，x为变量，这个函数是概率函数。$p(x|theta)$表示取到不同x的概率是多少。
- 如果x已知，$theta$为变量，这个函数是似然函数。$p(x|theta)$表示不同$theta$模型，出现x的概率。
3、极大似然估计
- 就是利用已知的样本结果信息，反推最具可能（最大概率）导致样本结果产生的模型参数
- 这样给定了一种通过样本结果评估模型参数的方法，“样本已定，模型未知”。
[1]https://zhuanlan.zhihu.com/p/26614750
内容来源于网络如有侵权请私信删除
文章来源: 博客园
- 还没有人评论，欢迎说说您的想法！
客服
