统计学习
统计学习
如果一个系统能够通过执行某个过程改进它的性能，这就是学习。——赫尔伯特·西蒙
统计学习的特点
统计学习定义
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科。
统计学习也可以称为统计机器学习。
主要特点
- 统计学习以计算机及网络为平台，是建立在计算机及网络上的；
- 统计学习以数据为研究对象，是数据驱动的学科；
- 统计学习的目的是对数据进行预测与分析；
- 统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析；
- 统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等许多领域的交叉学科，并且在发展中逐步形成独自的理论体系与方法论。
统计学习的对象
统计学习研究的对象是data。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。注意这里的数据是多样的，可是是计算机及网络上的各种数字、文字、图像、视频、音频数据以及它们的组合。
统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提。
统计学习的目的
统计学习用于对数据的预测与分析，特别是对未知新数据的预测与分析。对数据的预测可以使计算机更加智能化，或者说使计算机的某些性能得到提高；对数据的分析可以让人们获取新的知识，给人们带来新的发现。
对数据的预测与分析是通过构建概率统计模型实现的。统计学习总的目标就是考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，同时也要考虑尽可能地提高学习效率。
统计学习的方法
统计学习的方法是基于数据构建概率统计模型从而对数据进行预测与分析。统计学习由监督学习、无监督学习和强化学习等组成。
统计学习的方法可以概括如下：
- 从给定的、有限的、用于学习的训练数据集合出发，假设数据是独立同分布产生的；
- 并且假设要学习的模型属于某个函数的集合，称为假设空间；
- 应用某个评价准则，从假设空间中选取一个最优模型，使它对已知的训练数据以及位置的测试数据在给定的评价准则下有最优的预测；
- 最优模型的选择由算法实现。
这样，统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法。称为统计学习方法的三要素，简称为“模型”、“策略”和“算法”。
实现统计学习方法的步骤如下：
- 得到一个有限的训练数据集合；
- 确定包含所有可能的模型的假设空间，即学习模型的集合；
- 确定模型选择的准则，即学习的策略；
- 实现求解最优模型的算法，即学习的算法；
- 通过学习方法选择最优模型；
- 利用学习的最优模型对新数据进行预测或分析。
统计学习的研究
统计学习的研究一般包括统计学习方法、统计学习理论以及统计学习应用三个方面。
统计学习方法的研究旨在开发新的学习方法；
统计学习理论的研究在于探求统计学习方法的有效性与效率，以及统计学习的基本理论问题；
统计学习应用的研究主要考虑将统计学习方法应用到实际问题中去，解决实际问题。
统计学习的重要性
统计学习学科在科学技术中的重要性主要体现在以下几个方面：
- 统计学习是处理海量数据的有效方法。
- 统计学习是计算机智能化的有效手段。
- 统计学习是计算机科学发展的一个重要组成部分。