机器学习算法原理、实现与实践——监督学习

机器学习包括监督学习、非监督学习、半监督学习及强化学习，这里先讨论监督学习。
监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。

1 基本概念

1.1 输入空间、特征空间与输出空间

输入与输出所有可能取值的集合分别称为输入空间与输出空间。

每个具体的输入是一个实例（instance)，通常由特征向量（feature vector）表示，这时，所有特征向量存在的空间称为特征空间。特征空间的每一维对应于一个特征。有时假设输入空间与特征空间为相同的空间。有时假设为不同的空间，这里需要将输入空间映射于特征空间，这一过程称为特征提取。模型实际上都是定义在特征空间上的。在监督学习中，往往把输入空间看为特征空间。通常用 $x$ 表示输入空间的一个实例

其中，表示x的第i个特征。注意区分与Xi，前者是一个实例中的第i维特征的值，而后者表示一个训练集中的第i个实例，它是一个向量。