数据集

样本

特征

特征取值

维数

训练数据

训练样本

泛化：学得的模型适用于新样本的能力

归纳与演绎：前者是从特殊到一般的泛化过程，即从具体的事实归结出一般性的规律后者是从一般到特殊的“特化”过程，即从基础原理推演出具体情况。

假设空间

版本空间：可能有多个假设集合与训练集一致，即存在一个与假设即一致的假设集合叫做版本空间。

归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好，称为归纳偏好。