ml-bayesian-thinkinglisted

# 贝叶斯与概率建模的假设纪律 ## R — 原文 (Reading) > "估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布。在现实 > 应用中，欲做出能较好地接近潜在真实分布的假设，往往需在一定程度上利用关于应用任务本身 > 的经验知识，否则若仅凭'猜测'来假设概率分布形式，很可能产生误导性的结果。" > > — 周志华《机器学习》第7章7.2节 > "朴素贝叶斯分类器采用了属性条件独立性假设，但在现实任务中这个假设往往很难成立。于是， > 人们尝试对属性条件独立性假设进行一定程度的放松，由此产生了一类称为'半朴素贝叶斯 > 分类器'(semi-naive Bayes classifiers)的学习方法。" > > — 周志华《机器学习》第7章7.4节 --- ## I — 方法论骨架 (Interpretation) 概率建模的全部自由度来自**你愿意声明多强的假设**——这是一门"用假设换可行性、同时被假设绑死正确性"的交易术。四条纪律： 1. **分布形式先于参数**。MLE 只在给定分布族内找最优参数；族选错了，参数再优也是错模型，且 MLE 的"最优性"光环会掩盖这一归因。分布形式要靠领域知识和画图论证，不能拍脑袋套高斯。 2. **独立性假设是可调旋钮不是开关**。朴素贝叶斯的属性条件独立太强→半朴素（SPODE/TAN/AODE 放松一阶依赖）→贝叶斯网（任意依赖）。谱系背后是一架天平：假设越弱、模型表达力越强、需要的样本越多——k 增大所需样本指数增长。按手头数据量选档位，别直奔表达力最强的。 3. **隐变量问题用交替固定破鸡生蛋**。参数和隐变量互相不知道时，EM 先固定一方估另一方再反转，循环至收敛；k-means 是它的硬分配特例。代价：只收敛到局部最优，初值敏感，须多组初值取优。 4. **推断算不动就降级，且降级有路线之分**。精确推断 NP 难后：变分推断是确定性近似（快、延迟可控、可能系统性偏差），MCMC 是随机性近似（渐近正确、慢、有 burn-in 和极端概率失效坑）。按延迟预算选路。 --- ## A1 — 书中的应用 (Past Application) ### 案例 1: 医疗诊断与门禁系统的代价不对称 (c08) - **问题**: 医疗诊断漏诊致命误诊烦人；门禁系统误放致命误拦烦人——两种错误的后果结构完全不同，标准错误率却把它们当等价。 - **方法论的使用**: 作者引入代价矩阵把不对称显式化，并指出通常只需关心代价比值而非绝对值；进一步在第3章展示把样本数比换成代价比即得代价敏感学习——这正是"把领域知识写成先验/权重注入决策"的入口。 - **结论**: 判决阈值应随代价比定量偏移，目标从"错误次数最少"改为"总体代价最小"。 - **结果**: 代价矩阵成为连接性能度量(第2章)、不平衡处理(第3章)、贝叶斯决策的统一接口。 --- ## A2 — 触发场景 (Future Trigger) ★ ### 用户会在什么情境下需要这个 skill? 1. 用朴素贝叶斯做文本分类/风控评分，想知道属性相关性到底要不要处理、怎么处理。 2. 用高斯假设给重尾分布的数据（收入、保险索赔）估"典型值"，怀疑方向就错了。 3. GMM/k-means 聚类结果每次跑都不一样，不知道是代码 bug 还是方法本性。 4. 贝叶斯网上节点太多精确推断跑不动，要在变分和 MCMC 里选一个。 5. 回归残差明显重尾仍坚持高斯似然，审稿人/同事质疑。 ##