人工智能一种现代方法第13章不确定性的量化

文章目录

不确定性
概率
概率推理
独立性
贝叶斯规则
资源分享

本文旨在讲明：
1）不确定性
2）概率
3）概率推理
4）独立性带来的简化
5）贝叶斯规则

不确定性

信念状态表示和应急规划会面临什么问题？（这是一环扣一环哇，前后章节联系比较紧密，逻辑性比较强）
1）当解释观察到的部分信息时，逻辑Agent必须考虑每一种逻辑上可能的解释。这导致信念状态的表示无法忍受地庞大而复杂。
2）一个处理所有可能意外情况的正确的应急规划必须考虑每一种可能情况（即使是可能性很小的情况），可能会变得非常庞大。

有时，没有可以保证达到Agent的目标的规划，然而Agent仍需要有所行动。
Agent必须能够对这些不能确保达到目标的行动规划的好坏做出对比。

Agent的目标是将乘客按时送到机场。规划A90：在飞机起飞90分钟前出发。一个逻辑Agent无法确定地得到结论：“A90将让我们及时到达机场”，然而可以做出弱一些的结论：“规划A90将让我们及时到达机场，只要车不抛锚，汽油不耗尽，不遇到任何交通事故，……”。这些条件没有一个是能够演绎的，所以也无法推断这个规划能否成功。这就是限制问题。

对于A90，Agent拥有的知识不能保证实现其中任何一个目标，但可以提供它们将被实现的某种程度的信念度。

为了使得规则正确，我们不得不增加一个几乎无限长的可能原因的列表——几乎不可能！怎么办？

为了做出选择，Agent首先必须在各种规划的不同结果之间有所偏好。一个结果是一个完全特定的状态，效用理论认为，每个状态对一个Agent而言都有一定程度的有用性，即效用，而Agent会偏好那些效用更高的状态。

概率

逻辑断言考虑的是要排除所有那些断言不成立的世界；
概率断言考虑的是各种可能世界的可能性有多大。

概率理论的基本公理规定，每个可能世界具有一个0到1之间的概率，且样本空间中的可能世界的总概率是1

概率断言和质询通常是关于可能世界集合的。例如，我们可能对两个数相同(Doubles)的情况集合感兴趣，也可能对两个数之和(Total)为11的情况感兴趣。这些集合称为事件。

无条件概率或先验概率；是指不知道其他信息的情况下对命题的信念度
条件概率或后验概率。条件概率是由无条件概率定义的,如 P ( a | b )和P ( a ∧ b ) 都是条件概率。

概率理论中变量被称为随机变量,变量名以大写字母开头。A=true形式的命题可简写为a,而A=false简写为￢a。
概率分布：计算一个随机变量每个可能取值的概率。

我们将一个连续随机变量X在值x处的概率密度写作P(X=x)或简写为P(x)；P(x)的直观定义是X落在以x开始的一个相当小的区域内的概率除以这个区间的宽度

$P(x)=\lim_{dx \rightarrow 0} P(x \leq X \leq x+dx) /dx$
概率共理：

$P(a \vee b)=P(a)+P(b)-P(a \wedge b)$

概率推理

例子：牙痛问题
一个由三个布尔变量Toothache,Cavity以及Catch(由于牙医的钢探针不洁而导致的牙龈感染)组成的问题域。其完全联合分布是一个2×2×2的表格。

P(cavity ∨ toothache) = 0.108 + 0.012 +0.072 + 0.008 + 0.0165 + 0.064 = 0.28

边缘化：针对变量集合Z的所有可能取值组合进行求和。

$P(Y)=\sum_{z \in Z}P(Y,z)$

计算cavity的无条件概率或先验概率、或边缘概率：
P(cavity) = 0.108 + 0.012 + 0.072 +0.008 = 0.2
这个过程称为边缘化,或称求和消元,除了Cavity以外的其他变量取每个可能值的概率相加,所以它们都被从公式中消除了。
$P(Cavity)=\sum_{z \in \left \{ Catch,Toothache\right \}}P(Cavity,z)$

条件化：
$P(Y)=\sum_{z }P(Y|z)P(z)$

$P(cavity | toothache)=\frac{P(cavity \wedge toothache)}{P(toothache)} =\frac{0 . 108 +0 . 012}{0 . 108 + 0 . 012 + 0 . 016 + 0 . 064}=0.6 \\ P(\neg cavity | toothache)=\frac{P(\neg cavity \wedge toothache)}{P(toothache)} =\frac{0 . 016 +0 . 064}{0 . 108 + 0 . 012 + 0 . 016 + 0 . 064}=0.4$

上述两个条件概率和为1，结果正确。事实上，从上面的计算过程可看到1/P(toothache)是不变的，与要计算的Cavity的值无关。可将它视作P(Cavity | toothache)的一个归一化常数α，保证其中的概率加起来等于1。
P(Cavity | toothache) = αP(Cavity, toothache)
=α[ P(Cavity, toothache,catch) + P(Cavity, toothache,¬catch)]
=α[<0.108, 0.016> + <0.012, 0.064>] =α<0.12, 0.08>= <0.6, 0.4>
即，可以不用计算P(toothache)，而对Cavity分别取cavity和¬cavity时进行求和得0.12和0.08，再对这两个值除以(0.12+0.08)而进行归一化即可。

一个通用推理过程
假设这个变量为X,E为证据变量，e表示证据变量的观察值；并假设Y为其余的未观测变量，查询为P(X|e),它的值计算为：
$P(X|e)=\alpha P(X,e)=\alpha \sum_y P(X,e,y)$
即，任何条件概率都可以通过将完全联合概率分布中的某些项相加而计算得到。

在上例牙痛问题中，Cavity为X，E为Toothache，Y为Catch。
其中的求和针对所有可能的y(也就是对未观测变量Y的值的所有可能组合)。注意变量X,E以及Y一起构成了问题域中所有变量的完整集合,因此P(X,e,y)只不过是完全联合分布概率中的一个子集。

独立性

“天气是独立于牙病问题的”这样的特性称为独立性,也称为边缘独立性或绝对独立性
两个命题a和b之间独立可以写作

$P(a|b) = P(a) \\ P(b|a) = P(b) \\ P(a∧b) = P(a)P(b)$

变量X和Y之间独立可以写作

$P(X|Y) = P(X) \\ P(Y|X) = P(Y) \\ P(X∧Y) = P(X)P(Y)$

条件独立性
给定第三个随机变量Z后,两个随机变量X和Y的条件独立性的一般定义是
$P(X, Y | Z) = P(X | Z) P(Y | Z)$
等价于

$P(X | Y, Z) = P(X | Z) \\ P(Y | X, Z)= P(Y | Z)$

证明：
$P(X | Y, Z) =\frac{P(X,Y,Z)}{P(Y,Z)}=\frac{P(X, Y | Z) P(Z)}{P(Y|Z) P(Z)}=\frac{P(X,Y|Z)}{P(Y|Z)}=\frac{P(X | Z) P(Y | Z) }{P(Y|Z)}=P(X|Z)$

贝叶斯规则

乘法规则

$P(a∧b) = P(a|b)P(b)=P(b|a)P(a)$

贝叶斯规则

$P(b|a)=\frac{P ( a | b ) P ( b )}{P ( a )}$
对于多值变量的情况

$P ( Y | X )=\frac{P ( X | Y ) P ( Y )}{P ( X )}$
以某个背景证据e为条件的情况

$P ( Y | X , e )=\frac{P ( X | Y , e ) P ( Y | e )}{P ( X | e )}$
归一化的贝叶斯规则的一般形式为

$P(Y | X) = \alpha P(X | Y) P(Y)$
考虑计算P(Cavity | toothache∧catch ),它有两条证据
如果知道完全联合分布,则可以读出答案:

$P(Cavity | toothache∧catch ) = α<0.108, 0.016> =<0.871, 0.129>$

这种方法不能扩展到有大量的变量的情况。

也可以试着使用贝叶斯规则重新对问题形式化:

$P(Cavity | toothache ∧ catch ) =α P(toothache ∧ catch | Cavity ) P(Cavity)$

其中，α代表贝叶斯公式中的分母1/P(toothache ∧ catch)。

这需要知道P (toothache ∧ catch |Cavity)。只有两个证据变量时是可行的,但证据变量太多时同样不可行。
当给定Cavity时toothache和catch的条件独立性（给定了Cavity时toothache和catch独立）：
$P(toothache ∧ catch | Cavity) =P(toothache | Cavity) P(catch |Cavity)$
将上式带入到含α的贝叶斯公式：

$P(Cavity | toothache ∧ catch ) =αP(toothache | Cavity) P(catch |Cavity)P(Cavity)$

资源分享

实验代码下载：
https://github.com/yyl424525/AI_Homework
人工智能-一种现代方法中文第三版pdf、课件、作业及解答、课后习题答案、实验代码和报告、历年考博题下载：https://download.csdn.net/download/yyl424525/11310392