ml-theory-compasslisted

# 理论罗盘：把学习理论用作提问框架 ## R — 原文 (Reading) > "计算学习理论中最基本的是概率近似正确(Probably Approximately Correct, 简称 PAC) > 学习理论……若存在学习算法，其输出假设满足 P(E(h)≤ε)≥1−δ，则称学习算法能从假设 > 空间中辨识概念类。" > > — 周志华《机器学习》第12章12.2节（PAC 辨识定义） > "常用评分函数通常基于信息论准则，此类准则将学习问题看作一个数据压缩任务，学习的目标 > 是找到一个能以最短编码长度描述训练数据的模型……这就是'最小描述长度'(Minimal > Description Length, 简称 MDL)准则。" > > — 周志华《机器学习》第7章7.5.2节 --- ## I — 方法论骨架 (Interpretation) 学习理论的正确打开方式不是背定理结论，而是把它当作一组**提问模板**——每个理论工具对应一种在实践里反复出现的提问姿势： 1. **PAC 三问**：任何"模型要达到 X 精度"的点估计要求都应译成三元组契约——多大把握(δ)、多少误差(ε)、多少样本与算力预算。模糊需求经此翻译立即暴露内在矛盾，变成可谈判条款。 2. **容量三刻度**：VC 维(分布无关而松)、Rademacher 复杂度(考虑数据分布更紧)、算法稳定性(绕开假设空间直连 ERM)——回答"为什么泛化"时先选尺子：要普适性用左边的，要紧���解释往右走。"深度网络 VC 维巨大为何还泛化"这类悖论，用最左的尺量必然失灵。 3. **MDL 学习即压缩**：评价任何解释只问一件事——总共花多少比特(模型字节+残差字节)。它把"简单 vs 复杂"的品味之争变成可计算评分，并统一了 MLE/AIC/BIC。 4. **替代损失推理**：原目标不可优化就换个凸的好优化的代理，但要记住代理最优≠原指标最优——hinge 长出稀疏支持向量、对率长出概率输出、指数损失长出 AdaBoost，替代品决定产物基因，事后须做一致性检查。 5. **核技巧**："空间不行换空间"——表征本身是设计变量；核选错等于映进错误空间，调参救不回来。 6. **单调性证书**：策略评估-改进迭代敢放心循环是因为每步改进被证明不减；缺证书的循环（复盘-调整、贪心上线）必须外接 A/B 门控充当证书。 7. **半监督安全性检查**：未标记数据的收益以桥接假设为抵押，假设错会倒扣分——凡理论承诺都要先问兑现前提。 统一心法：**理论给出的是边界与提问姿势，不是答案**；用它来划定"什么问题值得问、什么结论不能信"，而不是直接预测实验结果。 --- ## A1 — 书中的应用 (Past Application) ### 案例 1: PAC 三问拆解"准确率达到99%"式要求 (f38) - **问题**: 老板/需求方要求"模型准确率达到 99%"——一个无法判定的点估计要求。 - **方法论的使用**: 按 PAC 格式改写成"以至少 1−δ 概率取得误差 ≤ ε 的模型"，追问 δ 取多少、ε 与 99% 的差距、以及支撑该承诺需要的样本量与训练预算。 - **结论**: 需求从口号变成可谈判的三元组契约；预算矛盾当场暴露。 - **结果**: 该提问框架成为把一切模糊学习目标译成可判定契约的标准动作。 ### 案例 2: MDL 裁决两条规则集之争 (f23) - **问题**: 模型 A 用 10 条规则达 95% 准确率，模型