ml-graphical-modelslisted

# 概率图模型 — 先画清依赖关系的形状，再决定推断走哪条路 ## R — 原文 (Reading) > "概率图模型的推断方法大致可分为两类。第一类是精确推断方法，希望能计算出目标变量的边际分布或条件分布的精确值；遗憾的是，一般情形下，此类算法的计算复杂度随着极大团规模的增长呈指数增长，适用范围有限。第二类是近似推断方法……在现实任务中更常用。" > > — 周志华, 《机器学习》第14章 14.4节 "学习与推断" > "显然，若隐变量的拆解或变量子集的分布假设不当，将会导致变分法效率低、效果差。" > > — 周志华, 《机器学习》第14章 14.5.2节 "变分推断" --- ## I — 方法论骨架 (Interpretation) 多个变量纠缠在一起、谁影响谁说不清时，概率图模型把"依赖关系"显式画在图上：结点是变量，边是依赖。整个方法论是三连问。 **第一问：边的语义是什么？** 有向图（贝叶斯网/HMM）表达"谁生成谁"，适合刻画因果方向或时序先后——HMM 的马尔可夫链假设（下一时刻状态仅依赖当前状态）就是有向依赖的极简形态；无向图（马尔可夫随机场）表达对称的相关关系，不区分方向，用极大团上的势函数定量描述"哪些取值搭配受偏好"。判据看问题本身：推理链有方向（语音→文字）还是有向；变量间是相互影响还是单向生成。 **第二问：图从哪来？** 专家给定（领域知识直接画出���构，条件独立性一目了然）或从数据学结构（代价高）。多数现实任务是专家定骨架、数据填参数（条件概率表/势函数）。 **第三问：推断走哪条路？** 这是工程成败的分水岭。先估极大团的规模——精确推断（变量消去、信念传播）的复杂度随团规模指数增长，团小且查询少才值得硬算；多个边际分布要查就用信念传播把求和变消息传递复用中间结果。团大则转近似：要的是期望值/预测精度且能接受随机性 → MCMC 采样（吉布斯逐变量重采样，收敛后样本近似后验）；要确定性近似或高维效率 → 变分推断（限制近似分布族，把推断变成优化）。两条路各有暗礁：MCMC 怕不收敛与极端概率，变分怕拆解与分布族假设不当。 --- ## A1 — 书中的应用 (Past Application) ### 案例 1: 西瓜问题的贝叶斯网结构与吉布斯采样推断 (c23) - **问题**: 西瓜问题中，已知色泽=青绿、敲声=浊响、根蒂=蜷缩，求"好瓜且甜度高"的概率有多大？涉及查询变量 Q={好瓜,甜度} 与证据变量 E={色泽,敲声,根蒂} 的纠缠依赖。 - **方法论的使用**: 作者先用领域知识画出贝叶斯网结构——色泽依赖好瓜和甜度、根蒂依赖甜度，并给出条件概率表（如 P(根蒂=硬挺|甜度=高)=0.1）；随后指出这类图的精确推断是 NP 难的，于是改用吉布斯采样：随机产生与证据一致的初始样本，逐个对非证据变量按其条件分布重采样，T 轮采样后目标取值出现的频率即为后验概率的近似。 - **结论**: 结构靠专家知识定、参数靠数据填、推断按团规模降级到采样——三段式流程完整落地；吉布斯采样的本质是在证据子空间中随机漫步的马尔可夫链，收敛到平稳分布即后验。 - **结果**: 该演算成为 ch7 贝叶斯网推断的标准示例，也预演了 ch14 推断决策树的核心判断："精确推断 NP 难 → 近似推断接手"。 --- ## A2 — 触发场景 (Future Trigger) ★ ### 用户会在什么情境下需要这个 skill? 1. 用户有一组相互影响的变量（症状-疾病、传感器-设