基于贝叶斯信念网络的故障推理系统设计外文翻译资料

英语原文共 704 页，剩余内容已隐藏，支付完成后下载完整资料

第六章 参数学习：二进制变量

最初，贝叶斯网络中的有向无环图是由这个领域的一个专家人工建立的，然后通过学习数据，或者结合专家和数据，可以得到条件概率。如图1.11和图3.1所示的贝叶斯网络，其有向无环图都是人工建立的，而图3.1中贝叶斯网络的条件概率是从数据中学习得到的。对于比较大的网络，通过专家得到贝叶斯网络的过程可能会很费劲，所以研究者们提出了能从数据中学习得到有向无环图的方法，而且，他们还规范了从数据中得到条件概率的方法，这些方法将在本章接下来的内容中介绍。在贝叶斯网络中，有向无环图叫做该网络的结构，条件概率分布中的概率值叫做该网络的参数。在本章和接下来的章节中，我们将讨论从数据中学习参数值的问题。本章假设每个随机变量有两个状态（即假设变量是二进制变量），在第七章中将考虑多状态、连续的变量。第八至十一章讨论从数据中学习网络结构，其中第八章和第九章提出一种学习结构的贝叶斯方法，第十章则提出了另外一种基于约束的方法。而且在第十章中我们还介绍了如何通过数据得到网络的因果关系。第十一章比较这两种方法，并列举了几个学习贝叶斯网络和因果影响的例子。

当概率是相对频率时，我们只能通过学习数据得到参数值。相对频率我们在1.1.1节中简单地讨论过，并在4.2.1节中给出了详细介绍，回顾一下，我们在后面通常使用“相对频率”而不是“概率”来指代一种倾向，在本章中我们也使用这种术语。“概率”通常是指我们在例1.3中讨论的主观概率（信念度），我们用主观概率分布来表示我们对于一个相对频率的值的信念。

本章将按以下内容展开：6.1节讨论学习单一参数，即得到一个单一相对频率的估计值；在6.2节中进一步讨论6.1节中介绍的beta;密度函数；6.3节介绍如何计算一个相对频率的概率区间，使相对频率的估计值更可信；6.4节解决学习贝叶斯网络中所有参数的问题；在数据缺失的条件下进行参数学习则在6.5节中讨论；最后，6.6节给出了一种在贝叶斯网络中求推断出来的相对频率的概率分布和确定的参数的概率分布之间的方差的方法。

6.1 学习单一参数

在讨论了相对频率的主观概率分布之后，我们得到了一种从数据中估计相对频率的方法。

6.1.1 相对频率的概率分布

首先我们讨论当[0,1]中所有的数都有相等的可能性是相对频率时，求相对频率的概率分布；然后介绍一个能用来表示一个实例的密度函数集，在这个实例中我们并不认为[0,1]中所有的数都有同等的可能性是相对频率。最后，我们提出一种通用的方法，即用主观概率分布来表示对相对频率的信念。

所有相对频率等可能

我们举一个例子来说明当[0,1]中所有的数都有相等的可能性是相对频率时，该相对频率的概率分布。首先讨论可能是相对频率的数是离散值的情况，然后再考虑连续的情况。

离散的情况。假设一个缸里有101枚硬币，每枚硬币正面朝上的倾向都不相同。其中第一枚硬币正面朝上的倾向是0.00，第二枚是0.01，第三枚是0.02hellip;最后一枚是1.00，如图6.1所示。也就是说，如果我们多次抛一枚硬币，比如第二枚硬币，正面朝上的相对频率会接近0.01。假设下一次随机从缸里取出一枚硬币并抛出，那么如何确定它正面朝上的概率？如果我们知道这枚硬币正面朝上的相对频率，那么它正面朝上的概率将是这个相对频率。我想大多数人都赞同这个说法。例如，如果我们知道要抛掷第二枚硬币，那么正面朝上的概率将是0.01，因为这是第二枚硬币正面朝上的相对频率。设定“Side”是一个随机变量，它的取值“heads（正面）”和“tails（反面）”是抛硬币事件的输出结果；“F”也是一个随机变量，其取值范围由101个相对频率的值组成。

P(Side = heads | f) = f

注意，我们用f表示F = f，但是不用简化符号表示“Side = heads”，这与在章节1.1.4中讨论的规则是一致的。如果用无差别原则（见章节1.1.1）给所有的相对频率（硬币）分配相等的概率，我们就能用图6.2所示的贝叶斯网络来表示概率分布。这种贝叶斯网络叫做“增强型贝叶斯网络”，因为它包含了一个表示我们对一个相对频率的信念的节点，但是我们隐藏了这个节点。“增强型贝叶斯网络”的定义将在章节6.4.2中给出。于是有：

概率最后变成0.5并不奇怪，因为我们把正面和反面的相对频率都近似给定0.5。这里概率值0.5是什么呢？它不可能是作为例子的硬币出现正面朝上的相对频率，因为这种情况只有当我们取出的硬币恰好是正面朝上的倾向是0.5的硬币时才成立。这个0.5应该是我们在第一次抛掷时对于硬币出现正面朝上的主观概率（信念度），就像0.6是我们对于Bulls是否会赢（章节4.2.1）的主观概率一样。就像我们对于Bulls赢得比赛时得到一个小奖品，和一个白球在包含60%的白球的缸里被取出时得到一个相同的小奖品这两件事漠不关心，我们对于硬币出现正面朝上时获得一个小奖品和一个白球在包含60%的白球的缸里被取出时得到一个相同的小奖品这两件事也毫不在意。需要说明的是，这个数值0.5也是当我们重复更替地取硬币并抛掷每枚样本硬币一次时硬币出现正面朝上的相对频率。

图6.1 一个缸里有101个正面朝上的倾向都不相等硬币

图6.2 贝叶斯网络

连续的情况。假设缸里有连续的硬币，对于0到1之间的每一个实数f，都对应地存在一枚正面朝上的倾向是f的硬币，现在我们再次随机地从缸里取硬币，此时这些取值为硬币正面朝上的相对频率的随机变量的概率分布以联合密度函数的形式给出，即：

图6.3 联合密度函数

密度函数如图6.3所示。在这种情况下，第一次抛掷硬币时出现正面朝上的概率是：

同样，这个结果也并不奇怪。

现在考虑一些重复性实验，比如抛掷图钉，或者从一群狗中选择狗并确定它们是否会吃我提供的薯片（选择这个例子是因为我不知道是否每一条狗都吃薯片）。如果我们认为[0,1]区间里的所有数字都同样可能是相对频率的值，那么我们可以用联合密度函数来模拟我们对相对频率的信念，就像前面所说的在缸里取硬币抛掷的例子一样。

不是所有的相对频率都等可能

在很多（即使不是大多数）情况下，我们并不认为[0,1]区间里的所有数都有相同的可能性是一个相对频率的值。即使是在抛掷图钉的例子中，我也不会觉得极值和其他更接近中值的数字有相同的可能性。更值得注意的是，如果我从我的口袋里抛掷一枚硬币，我会认为相对频率是0.5的可能性最大。在这种情况下，我会希望得到一个类似于图6.4的密度函数。如果我在美国抽样调查人们是否刷牙，我会认为相对频率最有可能是0.9。在这种情况下，我希望得到一个类似于图6.5的密度函数。接下来，我们来求这样的密度函数。也就是说，我们讨论叫做beta;密度函数的一类密度函数，这些密度函数提供了一种合理的方法来量化我们对相对频率的先验信念，并在观察到证据之后更新这些信念。

图6.4 密度函数beta; ( f ; 50,50 )

图6.5 密度函数beta; ( f ; 18,2 )

图6.6 密度函数beta; ( f ; 3,3 )

在开始求这类密度函数之前，我们来回顾一下gamma;函数，定义如下：

当且仅当xgt;0时，等式右边的积分项收敛；如果x是一个大于等于1的整数，则可能出现：

所以gamma;函数是阶乘函数的一个概括，下面的引理也与gamma;函数有关：

引理6.1 有

证明过程留给读者作为练习。

现在我们可以定义beta;密度函数了。

定义6.1 参数为a,b,N=a b（其中a,b都是大于零的实数）的beta;密度函数定义为

若一个随机变量F的密度函数形如beta;密度函数，则称其服从beta;分布。

我们将beta;密度函数记作beta; ( f ; a, b ).

图6.3所示的联合密度函数为beta; ( f ; 1, 1 ).图6.4、6.5和6.6则表示了其他几种beta;密度函数。可以看出，a和b的值越大，密度函数曲线越靠近a/(a b)。因为这个以及其他一些原因，当a和b取整数时，我们通常认为概率估计者的经验等同于，在(a b)次试验中第一个结果出现了a次。章节6.1.2的结论为这个说法给出了进一步的依据。

我们会用到下面两个与beta;密度函数相关的引理。

引理6.2 如果a和b是大于零的实数，则有

证明过程留给读者作为练习。

引理6.3 如果F服从参数为a,b,N=a b的beta;分布，则有

证明：有

上述第四个等式是由引理6.2得出，最后一个等式由引理6.1得出。

表示对相对频率的信念

接下来我们规范并概括章节6.1.1介绍的概念。假设我们有一些两输出的随机过程，比如抛掷图钉，我们规定X是一个随机变量，其取值1和2是这个实验的两个输出结果。假设我们能用一个随机变量F表示我们对X=1的相对频率的信念，其中F的取值区间由[0,1]内的数组成，则F的期望值E(F)被定义为我们对相对频率的估计。更进一步，假设我们的信念为

也就是说，如果我们知道X=1的相对频率，那么在第一次实验时我们对于结果是1的信念将会是f，如图6.7中的贝叶斯网络所示。在这种假设下，下面给出的定理表明我们对于第一次试验的主观概率等于相对频率的估计值。

图6.7 F的概率分布表示我们对X=1的相对频率的信念

定理6.1 假设X是一个取值为1和2的二值随机变量，F是另一个满足以下条件的随机变量

则有

其中E表示期望值。

证明：

我们证明当F是连续变量的情况。根据全概率公式

推论6.1 若定理6.1中的条件成立，并且F服从参数为a,b,N=a b的beta;分布，则有

证明可由定理6.1和引理6.3推出。

例6.1 假设我重复地从口袋里抛掷一枚硬币，因为我认为相关频率很有可能等于0.5，所以我可能会认为我的先验知识相当于在100次硬币抛掷试验中观察到了50次正面朝上，因此，我可以用图6.4所示的密度函数beta; ( f ; 50,50 )来表示我对相对频率的信念。根据之前的推论，在第一次抛硬币时有

另外，0.5是我们对于硬币出现正面朝上的相对频率的估计。

例6.2 假设我重复地抛掷一枚图钉，我可能会认为会有一半的次数是图钉面着地，但是考虑到图钉的构造，我可能不会像从口袋里抛硬币那样有把握，所以我可能会认为我的先验知识相当于在6次抛掷图钉试验中观察到了3次图钉面着地（图钉平的一端着地），也就是说，我可以用密度函数beta; ( f ; 3,3 )来表示我对相对频率的信念，如图6.6所示。根据之前的推论，在第一次抛图钉时有

另外，0.5是我们对于图钉出现图钉面着地的相对频率的估计。

例6.3 假设我要在美国抽样调查人们是否刷牙，在这个例子里，我可能会认为我的先验知识相当于在调查的20个人中有18个人刷牙。所以，我可以用密度函数beta; ( f ; 18,2 )来表示我对相对频率的信念，如图6.5所示。根据之前的推论，在调查第一个人时有

另外，0.9是我们对于一个人刷牙的相对频率的估计。

6.1.2 学习相对频率

回顾图6.1，缸里装有许多硬币，我们能确定，当我们随机取出一枚硬币并抛出，出现正面朝上的概率是0.5。现在假设我们已经抛掷了这枚硬币20次，出现正面朝上的次数是18，我们还会认为下一次出现正面朝上的概率是0.5吗？不会，因为我们现在会认为这枚硬币更有可能是那枚正面朝上的可能性是0.9的硬币，而不是正面朝上的可能性较小的硬币。接下来我们讨论如何量化这种信念上的改变。

假设我们进行了M次随机试验，令X^(h)是一个随机变量，其值是第h次试验的结果，再令F是一个随机变量，其概率分布表示我们对相对频率的信念。假设我们知道了F确切的值，那么我们可以认为随机变量X^(h)相互独立，而且每一次试验结果的概率就是对应的相对频率。也就是说，比如，我们抛一枚正面朝上的可能性是0.5的硬币，在不考虑前面h-1次试验结果的情况下，我们认为第h次试验出现正面朝上的概率是0.5。

为什么我们要作上一段里的假设呢？首先，有证据表明，在独立性试验中实际的相对频率是相互独立的。也就是说，像章节4.2.1中讨论过的，1946年J.E.Kerrich做了大量的实验，结果表明相对频率似乎能达到极限值；1971年G.R. Iver

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[150257]，资料为PDF文档或Word文档，PDF文档可免费转换为Word