1、损失函数:度量预测错误的程度,评估模型单次预测的好坏。

  a:0-1损失函数

$L(Y,f(X))=begin{cases}0 & text{ if } Y=f(X) \ 1 & text{ if } Yneq f(X) end{cases}$

  b:平方损失函数

 $L(Y,f(X))=(Y-f(X))^2$

  c:绝对损失函数

$L(Y,f(X))=left | Y-f(X) right |$

  d:对数损失函数

$L(Y,p(Y|X))=-log(p(Y|X))$

2、风险函数:损失函数的期望,评估模型平均预测好坏。

$R_{exp}(L(Y,f(X)))=int_{x*y}L(Y,f(X))p(X,Y)dxdy$

  经验风险:关于训练集的平均损失。

$R_{emp}(L(Y,f(X)))=frac{1}{n}sum L(Y,f(X))$

  经验风险最小化:

$underset{F epsilon f}{min}frac{1}{n}sum L(Y,f(X))$

eg:当模型是条件概率,损失函数是对数损失函数时,经验风险最小化等价于极大似然估计。

  结构风险:是为了防止过拟合。

$R_{srm}(L(Y,f(X)))=frac{1}{n}sum L(Y,f(X))+lambda J(f)$

eg:当模型是条件概率,损失函数是对数损失函数,模型复杂度由先验概率表示时,经验风险最小化等价于最大后验概率估计。


1、(Bayes)贝叶斯定理

$P(A|B)=frac{P(B|A)P(A)}{P(B)}$(“后验概率=标准似然度*先验概率”)

2、似然函数

$p(x|theta)$
  • x:表示一个具体数据
  • $theta$:表示模型参数
  • 如果$theta$已知,x为变量,这个函数是概率函数。$p(x|theta)$表示取到不同x的概率是多少。
  • 如果x已知,$theta$为变量,这个函数是似然函数。$p(x|theta)$表示不同$theta$模型,出现x的概率。

 

3、极大似然估计

  • 就是利用已知的样本结果信息,反推最具可能(最大概率)导致样本结果产生的模型参数
  • 这样给定了一种通过样本结果评估模型参数的方法,“样本已定,模型未知”

[1]https://zhuanlan.zhihu.com/p/26614750


 

内容来源于网络如有侵权请私信删除