支持向量机 Flashcards
(23 cards)
支持向量机概述
svm是一种二分类模型, 它的基本模型是定义在特征空间上的几何间隔最大的线性分类器, 如果用上核方法, 那就是非线性分类器.
支持向量机包含的由简至繁的模型
当训练数据线性可分时, 线性可分支持向量机, 又称硬间隔svm;
当训练数据近似线性可分是, 线性支持向量机, 又称软间隔svm;
当训练数据线性不可分时, 非线性支持向量机, 使用核方法
线性可分支持向量机的意思
将正例和负例两类数据正确划分,
并且几何间隔最大的超平面
函数间隔
y(wx+b), 用来表示分类的正确性及确信度
关于训练数据集T的函数间隔
就是T中所有样本点的函数间隔的最小值
几何间隔
规定||w||=1的函数间隔
正确分类时, y/||w||*(wx+b)
关于训练数据集的几何间隔
所有样本点中几何间隔最小值
支持向量机的学习策略
间隔最大化, 可以形式化为一个求解凸二次规划的问题, 也等价于正则化的合页损失函数的最小化问题.
支持向量机的学习算法
求解凸二次规划的最优化算法
支持向量机中的核函数是什么意思
当输入空间为欧式空间, 或者离散空间, 特征空间为希尔伯特空间时, 核函数就是将输入映射到特征空间得到的特征向量之间的内积
希尔伯特空间是什么
完备的内积空间
1 是内积空间, 定义了内积, 也就有了角度的含义
2 完备: 也就是所有柯西列都是收敛的
从而微积分中的大部分概念都可以无障碍的扩展到希尔伯特空间上
线性可分支持向量机和线性支持向量机中, 输入空间和特征空间之间的关系
是一一映射
非线性可分支持向量机中, 输入空间和特征空间之间的关系
是由一个非线性映射完成的
对于线性可分支持向量机, 为什么要最大化几何间隔
因为距离代表着分类的确信度, 最大化几何间隔, 就相当于最大化分类的确信度, 从而对未知的新实例有很好的分类预测能力
在线性可分情况下, 什么是支持向量
支持向量是训练数据集中与分离超平面距离最近的样本点
在线性可分情况下,移动除了支持向量之外的点, 对分离超平面有什么影响
没有影响, 分离超平面只由支持向量起作用
线性可分支持向量机学习的基础算法
对偶学习算法
线性可分支持向量机的对偶形式
没看明白
线性支持向量机的定义
对于给定的线性不可分的训练数据集, 通过求解凸二次规划问题, 即软间隔最大化问题, 而得到分离超平面的方法
非线性可分问题
如果能用Rn中的一个超曲面将正负样本正确分开, 就为非线性可分问题
优化问题如何通过广义拉格朗日函数进行转化
通过广义拉格朗日函数, 可以把原来的带有约束的优化问题, 转化为对广义拉格朗日函数的求最小最大的无约束问题. 最小是原优化问题的目标, 最大是对拉格朗日乘子最大, 使得最大化广义拉格朗日函数等价于原来的目标函数
正定核的充要条件
K(x,z)的 Gram矩阵是半正定的
Gram矩阵的定义
应该是?????
