19、学习图形模型：全面概述

学习图形模型：全面概述

1. 动机

在以往的讨论中，我们通常从给定的图形模型出发。获取模型主要有两种方式，一种是手动构建网络，一般借助专家的帮助。然而，从专家那里获取知识并非易事，构建一个中等规模的网络，就需要知识工程师与领域专家花费数小时，大型网络则可能需要数周甚至数月，并且还需对模型进行大量测试。

手动构建网络存在诸多问题。在某些领域，所需知识量过大，或者专家时间宝贵；有些领域则缺乏对该领域有足够了解的专家；还有很多领域，分布特性会随应用场景或时间变化，无法期望专家频繁重新设计网络。

不过，在很多情况下，我们可以获取一组从目标分布中生成的实例。比如在医疗诊断中，我们可以获取大量患者记录；在谱系分析中，能得到特定疾病频繁出现的家族树；在图像分割应用中，有人类分割好的图像集。这些实例可用于构建基础分布的良好模型，这一过程通常被称为模型学习。

假设领域由潜在分布 (P^ ) 支配，它由某个（有向或无向）网络模型 (M^ =(K^ , \theta^ )) 诱导。我们得到一个包含 (M) 个样本的数据集 (D = {d[1], \ldots, d[M]})，这些样本独立同分布（IID）。我们的任务是在给定的模型族中学习一个模型 (\tilde{M})，它定义了一个分布 (P_{\tilde{M}})。我们可能只想学习固定结构的模型参数，或者学习模型的部分或全部结构，有时还希望给出一系列不同假设，返回模型的概率分布或对所学模型的置信度估计。

2. 学习目标

评估不同学习方法的优劣时，考虑从数据中学习概率模型的目标至关重要。理想情况下，我们希望返回一个能精确捕捉数据采样分布 (P^