机器学习算法 原理、实现与实践 —— 感知机
感知机（perceptron）是二分类的线性分类模型，输入为特征向量，输出为实例的类别，取值+1和-1。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，引入了基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
1. 感知机模型
假设输入空间（特征空间）是
，输出空间是
。输入
表示实例的特征向量，对就于输入空间的点；输出
表示实例的类别。由输入空间到输出空间的映射函数
，输出空间是。输入表示实例的特征向量，对就于输入空间的点；输出表示实例的类别。由输入空间到输出空间的映射函数
称为感知机。其中，w和b为感知机的模型参数，
叫作权值或权值向量，b∈R叫作偏置。w⋅x表示内积。sign是符号函数，即
感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合
感知机有如下几何解释：线性方程
对应于特征空间
中的一个超平面S，其他w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点（特征向量）分别被分为正、负两类。因此，超平面S称为分离超平面（separating hyperplane）。感知机学习的任务可以描述为：由训练数据集（实例的特征向量及类别）
其中
求得感知机模型，即求得模型参数w,b。感知机预测，通过学习到的感知机模型，对于新的输入实例给出其对应的输出类别。2. 感知机的学习策略
假设训练数据集是线性可分的，感知机学习的目标就是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即确定感知机的模型模型参数w,b，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。
损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数w,b的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面S的总距离，这是感知机所采用的。为此，首先写出输入空间中任一点
到超平面S的距离。
中任一点到超平面S的距离。
这里，||w||是w的
范数。其次，对于误分类的数据
来说
成立。所以误分类点Xi到超平面S的距离转化为
这样，假设超平面S的误分类点集合为M，那么所有误分类点到超平面S的总距离为
来说成立。所以误分类点Xi到超平面S的距离转化为
这样，假设超平面S的误分类点集合为M，那么所有误分类点到超平面S的总距离为
忽略前面的系数1/||w||，就得到感知机学习的损失函数。
给定训练数据集
