本文共 2936 字，大约阅读时间需要 9 分钟。

Error = Bias + Variance

Error反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。

BIAS是偏离率的意思，即信号检测估计理论中常用的一种参数。

Variance是方差，方差是各个数据与其算术平均数的离差平方和的平均数。

Generalization error是泛化误差，模型的泛化误差(generalization error)不仅包括其在样本上的期望误差，还包括在训练集上的误差。即在真实情况下模型的误差。模型训练出来后，在测试集（抽样）上测试会得出一个误差，姑且叫E(in)，但这个误差是否能真实反应这个模型的预测的准确性呢？不一定哦。如果测试集（抽样）并不能很好地代表真实情况（总体），这个E(in)的值就不能很好地反应模型实际情况下的表现。而模型在真实情况（总体）上的表现出的误差就称为泛化误差，这个误差才能真正地反映模型的预测的准确性。

切诺夫界：Chernoff bound 

马尔科夫不等式：

    X为非负随机变量，E(X)存在，对任意t>0,有  Pr[x>t]<=E[X]/t

chernoff 界：

    X1,X2,...,Xn为独立泊松事件，Pr[Xi=1]=pi,X=sigma(i=0,n)Xi,u=E[X],对任意的0<=&<1,有

下界     Pr[X<(1-&)u]<(e^-&/(1-&)^(1-&))^u<e^(-u&2/2)

上界     Pr[X>(1+&)u]<=(e^&/(1+&)^(1+&)u)

 

   X1,X2,...,Xn为离散独立随机变量，E{Xi}=0 |Xi|<=1,i=1,2,...,n,X=sigma(i=1,n)Xi, D{X}=&²

   Pr[|X|>=t]<=2e^{-u^2/4}

   Pr[X>=t]<=e^{-u^2/4}

training error是指在训练样本上的损失的平均值。

风险函数（risk function）是度量模型在平均意义下的预测好坏。

可能近似正确（probably approximately correct，PAC）：

计算理论研究什么时候一个问题是可被计算的，而 PAC 学习理论，或者说计算学习理论 (Computational Learning Theory) 主要研究的是什么时候一个问题是可被学习的。可计算性在计算理论中已经有定义，而可学习性正是我们待会要定义的内容。另外，计算理论中还有很大一部分精力花在研究问题是可计算的时候，其复杂度又是什么样的，因此，类似的，在计算学习理论中，也有研究可学习的问题的复杂度的内容，主要是样本复杂度 (Sample Complexity) 。最后，在可计算的时候，得到实现计算的具体算法也是计算理论中的一个重要部分；而学习理论（或者更多的在“机器学习”这个课题下）当然也会探讨针对可学习的问题的具体的学习算法。

In computational learning theory, probably approximately correct learning (PAC learning) is a framework for mathematical analysis of machine learning. It was proposed in 1984 by Leslie Valiant.[1]

In this framework, the learner receives samples and must select a generalization function (called the hypothesis) from a certain class of possible functions. The goal is that, with high probability (the "probably" part), the selected function will have low generalization error (the "approximately correct" part). The learner must be able to learn the concept given any arbitrary approximation ratio, probability of success, or distribution of the samples.The model was later extended to treat noise (misclassified samples).An important innovation of the PAC framework is the introduction of computational complexity theory concepts to machine learning. In particular, the learner is expected to find efficient functions (time and space requirements bounded to a polynomial of the example size), and the learner itself must implement an efficient procedure (requiring an example count bounded to a polynomial of the concept size, modified by the approximation and likelihood bounds).

VC维（Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学理论定义的有关函数集学习性能的一个重要指标。

传统的定义是：对一个指示函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。

VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（容量越大），遗憾的是，目前尚没有通用的关于任意函数集VC维计算的理论，只对一些特殊的函数集知道其VC维。例如在N维空间中线性分类器和线性实函数的VC维是N+1。

1. C++标准模板库从入门到精通 

2.跟老菜鸟学C++

3. 跟老菜鸟学python

4. 在VC2015里学会使用tinyxml库

5. 在Windows下SVN的版本管理与实战 

 

转载地址：https://mysoft.blog.csdn.net/article/details/60583495 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！