核方法与 SVM：只算相似度，也能学习非线性边界

1最大间隔直觉直觉

很多直线都能分开训练点，为何选离点最远的一条？

支持向量机（SVM）是分类或回归模型；本页先讨论二分类。输入是带标签的特征向量，输出是带符号决策分数及阈值后的类别。线性 SVM 在所有能区分两类的超平面中，寻找离两侧最近训练点都尽量远的一条边界；边界到最近点的距离带称为间隔。

它解决的是“许多训练边界都正确时，哪一条对小扰动更稳”。训练时放大间隔，预测时计算新点位于边界哪一侧。决策分数绝对值越大表示相对当前模型离边界越远，但不是概率或因果置信度。

边界：完全硬分开会让一个噪声点支配边界，所以实际常用软间隔允许少量违例；若特征尺度相差悬殊，几何距离也会被大尺度特征主导。

2SVM 目标数学

C 怎样权衡间隔与训练错误？

软间隔目标把“边界尽量简单”和“训练样本尽量满足间隔”放在同一优化里。输入是样本 xᵢ、二分类标签 yᵢ∈{−1,+1} 与惩罚系数 C；输出是边界法向量 w、截距 b 和每个样本的违例量 ξᵢ。

‖w‖ 控制间隔宽度，越小对应间隔越宽；w·xᵢ+b 是样本的决策分数；标签 yᵢ 把正确一侧统一写成正值；ξᵢ=0 表示达到规定间隔，0<ξᵢ≤1 表示在正确侧但侵入间隔，ξᵢ>1 表示可能分错。C 大时违例代价高，边界更贴训练集；C 小时更重视宽间隔。

目标值只能在同一数据、缩放和参数约定下比较。C 不是“越大越好”：过大可能追噪声，过小可能欠拟合，必须在隔离验证数据上选择。

3核技巧原理

不显式构造高维特征，怎样在那里做内积？

核技巧解决“非线性关系需要丰富特征，但显式展开可能很大”的问题。输入是两个原始样本 x、x′ 和核函数 K；输出是它们经过某个隐式特征映射 φ 后的内积数值。

SVM 的对偶训练和预测只依赖样本两两内积，因此可用 K(x,x′)=φ(x)·φ(x′) 直接替换，而无需真的保存 φ(x) 的全部坐标。算法先计算训练样本的 Gram 核矩阵，再由优化求支持向量系数；预测时把新点与支持向量逐一算核并加权。

K 大表示在所选核的先验下更相似，不等于现实语义相同。有效核通常须对称且使任意样本的 Gram 矩阵半正定；任意相似度不能直接代入。核技巧还没有消除过拟合、错误尺度或核矩阵的规模成本。

4RBF 核的尺度调参

γ 太大或太小会怎样？

RBF 核把欧氏距离转换为 0 到 1 的局部相似度，解决直线边界无法表达弯曲分类区域的问题。输入是两个已缩放向量 x、x′ 和尺度参数 γ；输出是一个核相似度 K。

‖x−x′‖² 是两点平方欧氏距离，γ 决定距离衰减速度，exp 是指数函数；相同点得到 1，距离增大时结果趋近 0。γ 大时只有极近点相似，模型可形成许多局部小岛；γ 小时影响范围广，边界更平滑。

K 的数值只能相对于同一缩放和 γ 解读，不能当概率。特征必须先在训练折拟合缩放器；否则量纲会改变距离。γ 过大易过拟合、过小易欠拟合，还必须与 C 联合验证。

5支持向量决定预测稀疏性

为什么许多训练点最终不影响边界？

支持向量是位于间隔边缘、侵入间隔或分错，并因此得到非零对偶系数的训练样本。它解决的是预测函数不必保存所有训练点的贡献。输入是训练后的支持向量、标签、系数和新样本；输出是各支持向量核相似度加权求和后的决策分数。

远离间隔且已被正确分类的点系数为零，轻微移动通常不改变边界；移动或删除支持向量则可能改变解。支持向量数量和位置揭示当前边界依赖哪些样本，但不能解释真实因果。

边界：“稀疏”只发生在系数层面，不代表训练便宜；支持向量比例接近 100% 时，预测仍要进行大量核计算，也可能提示类别重叠、噪声或参数不合适。

6规模与选型边界工程

为什么核 SVM 很少直接训练十亿样本？

这一节解决“核 SVM 在统计上合适时，工程上是否可训练和部署”。输入是样本数 n、特征维度、可用内存、训练时限和延迟预算；输出是采用精确核、线性 SVM 还是近似核的方案。

精确方法需计算样本两两核值，完整核矩阵有 n² 个元素，存储近似二次增长，求解通常也超线性。应先做样本量—内存—时间曲线：小中型、特征清晰且非线性明显的数据可用核 SVM；大数据优先比较线性 SVM、随机傅里叶特征或 Nyström 近似。

近似方案的结果应同时解释质量损失、资源节省和随机误差。边界是：支持向量稀疏不能消除训练核矩阵成本，近似核也不保证比良好表征上的线性模型更优。

7完整手算：二次多项式核等于哪些显式特征逐步演算

K(x,z)=(x·z+1)² 怎样避免真正展开高维坐标？

取 x=(1,2)、z=(3,1)，x·z=5，所以 K=(5+1)²=36。一个对应映射是 φ(x)=(x₁²,2x₁x₂,x₂²,2x₁,2x₂,1)。

显式内积为9+12+4+6+4+1=36。核函数只算原空间点积就得到六维特征内积；更高次数时节省更明显，但隐式空间的复杂度仍会反映在泛化和核矩阵上。

8原创图：原空间非线性，特征空间线性可视化

核技巧改变的是分类器，还是坐标系？

9核必须产生合法的 Gram 矩阵正定性

为什么任意“看起来像相似度”的函数不能直接替换内积？

对任意样本与系数，合法核需满足 ΣᵢⱼaᵢaⱼK(xᵢ,xⱼ)≥0，即 Gram 矩阵半正定。这样才对应某个Hilbert空间内积，并使SVM对偶保持凸性。非对称、含负特征值的相似度可能让优化失去保证。

线性组合、乘积等闭包规则可构造新核；自定义字符串、图或序列核时，应证明正定或检查谱并明确近似处理。

10C、γ 与缩放必须在嵌套验证中联合选择模型选择

为什么先看测试集调RBF参数会过度乐观？

先在训练折拟合标准化器，再在内层交叉验证网格/贝叶斯搜索 C、γ；外层或冻结测试集只做一次估计。类别不平衡还需类权重与PR曲线。报告支持向量比例：接近100%常意味着预测慢或边界缺乏稀疏性。

11常见误区与学习路线误区与依赖

核方法用相似度表达先验，不是免费获得无限模型。

12核矩阵的二次规模决定训练上限系统成本

十万样本的完整 Gram 矩阵为什么难以承受？

n个样本产生n²个核值。n=100,000时是10¹⁰项，即使用4字节浮点也约40GB，尚未包含优化器工作区；求解时间通常也超线性。支持向量稀疏性只在训练完成后降低部分预测成本，不能消除构造与优化成本。

应画样本量—训练时间—内存—质量曲线，而不是从小样本准确率直接外推生产可行性。

13SVM 分数不是概率，多分类也不是天然一步完成输出语义

距离超平面为2，能说有90%把握吗？

决策值表示带符号间隔，尺度随核、C和数据改变，不是校准概率。需要在独立验证数据上做Platt scaling或isotonic calibration，并在漂移后重检可靠性。二分类SVM扩展多分类常用one-vs-rest或one-vs-one；类别分数可能不可直接比较，投票也可能产生平局。

类别不平衡时，准确率会掩盖少数类失败；同时报告PR-AUC、每类召回、支持向量数和校准误差。阈值应根据漏报/误报成本选择，而非固定0。若训练折既用于拟合SVM又用于校准，概率会过度自信。

14分布漂移会重写“相似”的含义生产边界

训练时合理的RBF邻域为何会上线后失效？

量纲、设备、编码或人群变化会改变成对距离，固定γ仍输出数值却不再代表原来的局部尺度。监控核相似度分位数、支持向量命中率、决策间隔和分组校准；若标准化器或表示更新，核模型必须作为组合版本重训。保留代表性边界样本做回归，并检查新群体是否普遍远离所有支持向量。

15验收检查点检查点

最终至少报告什么？

同时报告标准化流程、C与核参数、支持向量比例、校准误差、切片质量以及目标硬件上的训练内存与单样本延迟。

16把因果链连起来综合

这个概念怎样从问题一路连接到可验证的实践？

1. 线性空间可能不可分
2. 隐式映射产生丰富特征
3. 核直接计算映射后内积
4. SVM 选择大间隔边界
5. C 与 γ 控制复杂度
6. 交叉验证和规模约束决定方案

17误区与自测自测

你能否不用背术语，解释它的机制、边界与验证方法？