决策树与集成方法：用分裂规则组合非线性决策

1递归切分特征空间直觉

树怎样把复杂边界变成一串 if/else？

决策树是由条件节点和叶子组成的预测模型。输入是一行特征；从根节点开始，每个节点检查一条规则，例如“金额 ≤ 500”，并把样本送往左或右子树；到达叶子后，分类树输出类别或类别概率，回归树输出数值均值。

训练时，算法在当前节点比较不同特征与阈值，选择能最好改善目标的一刀，然后对子节点重复同一过程，直到触发深度、样本数或增益等停止条件。多次轴对齐切分会把空间分成矩形叶区，组合出阶梯状非线性边界。

一条路径可以解释模型这次执行了哪些规则，但不等于因果理由；相关特征和训练扰动可能生成替代路径。旋转或平滑边界也可能需要很多层，树并非对所有结构都紧凑。

2不纯度与增益数学

怎样比较候选分裂？

不纯度 I衡量一个节点中的目标有多混杂：分类可用 Gini 或熵，回归可用目标方差。候选切分把父节点分成左、右子节点；应按两边样本数加权，而不能只看较纯的一边。

Gain 是不纯度下降；I(parent) 是父节点不纯度，I(L) 与 I(R) 是左右节点不纯度；n 是父节点样本数，nL、nR 是左右样本数。增益越大，表示该切分让加权子节点更同质。

连续特征通常在排序后的相邻取值之间扫描合法阈值，类别特征则需定义候选分组。贪心算法只选当前节点最优切分，不保证整棵树全局最优；高基数特征还可能因候选机会多得到虚高增益。

3单树为何过拟合边界

树一直长到每片叶一个样本会怎样？

单树的输入仍是训练样本，输出是一组切分规则和叶子预测。当树不断分裂到叶子只剩极少样本时，它不仅拟合稳定规律，也能利用噪声、ID、缺失模式等偶然细节把训练误差压到很低。

这种模型具有高方差：训练数据轻微变化就可能改变早期阈值，后续整棵子树随之重排。表现上常见训练近满分、验证明显较差，叶子概率大量接近 0 或 1，跨重采样结构不稳定。

可限制最大深度、最小叶样本和最小增益，或先长树再剪枝，并用独立验证选择强度。限制过强会欠拟合；若问题来自数据泄漏，正则与剪枝也不能修复污染的证据。

4随机森林：并行降方差Bagging

很多高方差树平均为何更稳？

随机森林是并行训练许多决策树再聚合输出的 bagging 方法。输入是同一训练集；每棵树从样本中有放回抽取 bootstrap 子集，并在每次分裂只查看随机特征子集；输出时分类投票、回归取平均。

平均能抵消不同树的随机误差，但前提是树之间不要高度相关。bootstrap 改变所见样本，随机特征让树探索替代切分，两者共同降低相关性；如果每棵树都依赖同一个泄漏强特征，多加树也不会解决问题。

结果应看独立验证、袋外估计、树间相关、内存和延迟。随机森林通常比单树稳，但模型更大、单条预测的解释更间接；时间序列或实体分组数据也不能随意 bootstrap。

5梯度提升：逐步修残差Boosting

后面的树在学什么？

梯度提升按顺序增加弱树。输入是样本、当前集成预测与损失函数；每一轮计算损失对当前预测的负梯度，让新树拟合这组纠错目标，再乘学习率加入已有模型，输出更新后的集成预测。

平方损失下负梯度恰好等于“真实值 − 当前预测”，所以常说后树拟合残差；其他损失下目标是相应的负梯度，不一定是普通数值残差。小学习率配更多轮通常更稳，树深控制单轮能表达的交互阶数。

训练损失持续下降不代表未知表现持续改善；轮数过多、树太深或学习率过大都会追逐噪声。应使用实体和时间隔离的验证集早停，并联合调节采样、L1/L2 和树结构。

6表格数据的工程陷阱工程

树不需要标准化是否意味着数据准备不重要？

树按阈值比较单个特征，通常不需要为数值尺度做标准化；但输入仍必须满足预测时可获得、含义稳定和切分独立。时间泄漏、全数据目标编码、事后字段、重复实体、缺失机制和高基数 ID 都可能被树迅速利用。

训练输出的特征重要度也有口径：基于不纯度下降的重要度偏好取值多、可分裂机会多的变量；置换重要度测打乱字段后性能变化；SHAP 分配当前模型预测贡献。三者都描述模型依赖，不自动说明因果作用。

验收应做特征可用时点审计、时间外验证、实体分组、目标打乱测试和敏感切片，并监控缺失率与类别集合漂移。若线上缺失路由或新类别改变，模型仍会输出，但路径含义可能已经失效。

7完整手算：一个阈值让基尼不纯度下降多少逐步演算

六个样本标签 [退,退,留,留,留,退]，按金额阈值切分是否值得？

父节点退3、留3，Gini=1−(3/6)²−(3/6)²=0.5。候选阈值把左侧两笔都为“退”，右侧四笔含退1、留3。

树会比较全部合法特征/阈值并选择最大增益。若一个高基数ID几乎能逐个隔离样本，它可能得到虚假高增益，因此需限制叶样本并防泄漏。

8原创图：轴对齐切分组合成阶梯边界可视化

每个节点只有一个阈值，整棵树为何能表示非线性？

9预剪枝与后剪枝控制的是叶子自由度剪枝

为什么长满后再剪有时比一开始限制深度更好？

预剪枝用max_depth、min_samples_leaf、min_gain提前停止，计算便宜但可能错过“先弱后强”的组合切分。代价复杂度剪枝先长大树，再选择子树：

α提高会偏好更少叶。必须在训练折生成剪枝路径、验证选择α，再在测试集评估。叶子概率由有限样本频率估计，深叶常极端过度自信，可加平滑与校准。

10缺失值、类别变量与时间泄漏决定真实可靠性数据边界

树不需要标准化，为什么数据管道仍可能毁掉模型？

缺失可能本身有业务含义，也可能由采集故障造成；可显式缺失分支、代理切分或训练折内插补。高基数类别若目标编码使用全数据，会直接泄漏标签；时间数据必须按发生时间切分，不能让未来统计进入过去样本。

树能轻易记住用户ID、邮编或时间戳等代理。上线前做特征可用时点审计、打乱目标检测、时间外验证和敏感属性切片。缺失率或类别集合漂移时，即使模型仍输出，路由路径也可能完全改变。

11常见误区与学习路线误区与依赖

可读规则不自动等于稳定、因果或公平。

12随机森林靠降低树间相关性来降方差Bagging机制

只是多训练几棵相同树，为什么未必有效？

若每棵树方差为σ²、两树误差相关ρ，B棵树平均的方差近似为 ρσ²+(1−ρ)σ²/B。B增大只消除不相关部分；若所有树总用同一个强特征，ρ高，收益很快饱和。

bootstrap改变训练样本，随机特征子集让不同树探索替代切分，从而降低ρ。袋外样本可估计泛化和置换重要度，但时间序列或群组数据不能随意bootstrap，否则仍会泄漏。树数增加通常不提高偏差，却增加内存与延迟。

13梯度提升在函数空间沿负梯度小步前进Boosting机制

为什么回归平方损失下“拟合残差”只是一个特例？

式中 i 是样本编号，m 是提升轮次；yᵢ 是真实目标，xᵢ 是输入；Fₘ₋₁ 是上一轮集成预测函数，L 是损失，rᵢₘ 是本轮负梯度目标；hₘ 是新树，η 是学习率。

平方损失的负梯度等于 y−F，所以新树拟合残差；逻辑损失则拟合概率尺度上的梯度。学习率η小配更多轮通常更稳，树深控制交互阶数，行/列采样与L1/L2限制过拟合。

用早停必须有时间与实体隔离的验证集；测试集不能兼作早停监控。

14解释单条路径仍需说明替代路径与相关特征解释边界

“因为金额大于500所以拒绝”是完整原因吗？

路径只描述模型在当前输入上的执行规则；相关特征可能互相替代，稍微改变训练样本就会换成另一个阈值。局部SHAP、置换重要度和路径解释回答的问题不同，也都不是因果结论。解释应同时给预测版本、输入值、缺失处理、相邻阈值敏感性和可申诉规则，避免把代理变量包装成真实原因。

15把因果链连起来综合

这个概念怎样从问题一路连接到可验证的实践？

1. 候选阈值划分样本
2. 不纯度增益选择分裂
3. 递归形成分段规则
4. 单树高方差
5. bagging 平均或 boosting 逐步纠错
6. 时间切分和独立验证决定泛化

16误区与自测自测

你能否不用背术语，解释它的机制、边界与验证方法？