测试2

学习资料：《统计学习方法 第二版》、《机器学习实战》、吴恩达机器学习课程

一. 感知机Proceptron

  1. 感知机是根据输入实例的特征向量(x)对其进行二类分类的线性分类模型：(f(x)=operatorname{sign}(w cdot x+b))，感知机模型对应于输入空间（特征空间）中的分离超平面(w cdot x+b=0)。

  2. 感知机学习的策略是极小化损失函数：(min _{w, b} L(w, b)=-sum_{x_{i} in M} ;y_{i}left(w cdot x_{i}+bright))；
    损失函数对应于误分类点到分离超平面的总距离。

  3. 感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法。对于所有误分类的点，计算这些点到超平面的距离，目的是最小化这些点到平面的距离。

当训练数据集线性可分时，感知机学习算法存在无穷多个解，其解由于不同的初值或不同的迭代顺序而可能有所不同。

二. K近邻算法