感知机与基于间隔算法 5.7
感知机介绍 超平面 目标:对线性可分的2组特征向量,成功划分。 将特征空间一分为二、 二维:直线、 ax+by+c = 0 三维:平面、ax+by+cz+d = 0 n维:a1x1+a2x2+...+anxn+a0=0 超平面
定义: 感知机是二类分类的线性分类模型,输入特征向量,输出取+1、-1二值。 旨在求出将训练数据进行线性划分的分离超平面。 定义: 感知机是二类分类的线性分类模型,输入特征向量,输出取+1、-1二值。 旨在求出将训练数据进行线性划分的分离超平面。 感知机 w : 权重(weight),b:偏置(bias)
对平面:任一点(x0,y0)到分割线 ax+by+c=0(超平面)的距离为: 推广到n维:任一点 x 到超平面距离为: ||w|| 为w的L2范数 对误分类点:任一点 xi 到超平面距离为: 全体误分类点的距离和: 损失函数:
随机梯度下降算法: 其中 代表梯度负方向, 表示梯度方向上的搜索步长。 梯度方向我们可以通过对函数求导得到
感知机算法介绍
基于间隔的算法 把固定值 替换成变量
基于间隔的算法
基于间隔的算法