课后习题答案
1.试用极大似然法估算西瓜集3.0中前3个属性的类条件概率。
好瓜有8个，坏瓜有9个
属性色泽，根蒂，敲声，因为是离散属性，根据公式（7.17）
P(色泽=青绿|好瓜=是) = 3/8
P(色泽=乌黑|好瓜=是) = 4/8
P(色泽=浅白|好瓜=是) = 1/8
P(根蒂=蜷缩|好瓜=是) = 5/8
P(根蒂=稍蜷|好瓜=是) = 3/8
。。。自己计算
另外看到这种，假定概率分布在连续属性上，离散属性直接进行上边的计算也可以
极大似然法要先假定一种概率分布形式。
色泽：
对于好瓜，假设
P(色泽=青绿|好瓜)=σ1σ1
P(色泽=乌黑|好瓜)=σ2σ2
P(色泽=浅白|好瓜)=σ3σ3=1−σ1−σ21−σ1−σ2
L(σ)=⋂iP(色泽=xi|好瓜)=σ31σ42(1−σ1−σ2)L(σ)=⋂iP(色泽=xi|好瓜)=σ13σ24(1−σ1−σ2)
L′(σ1)=σ42σ21(3−4σ1−3σ2)L′(σ1)=σ24σ12(3−4σ1−3σ2)
L′(σ2)=σ31σ32(4−4σ1−5σ2)L′(σ2)=σ13σ23(4−4σ1−5σ2)
令L′(σ1)=0，L′(σ2)=0′(σ1)=0，L′(σ2)=0得σ1=38σ1=38，σ1=12σ1=12，σ3=18σ3=18
可以看出σ1,σ2,σ3σ1,σ2,σ3分别对应他们在yangben中出现的频率。
2.试证明：条件独立性假设不成立时，朴素贝叶斯分类器任有可能产生最优分类器。
朴素贝叶斯分类器就是建立在条件独立性假设上的。当有不独立的属性时，假如所有yangben不独立的属性取值相同时分类也是相同的，那么此时朴素贝叶斯分类器也将产生最优分类器。
3.试编程实现拉普拉斯修正的朴素贝叶斯分类器，并以西瓜数据集3.0为训练集，并对“测1”进行分类。
python代码
https://github.com/makang101/machinelearning
4.试述防止下溢的可能方案。
对乘积取自然对数。采取自然对数进行处理不会有任何的损失，两条曲线增区间和减区间相同，并且在相同点上取得极值。
6.试编程实现AODE分类器，并以西瓜数据集3.0为训练集，并对“测1”进行分类。
简单起见 没有考虑连续属性。可按书中公式编写程序。python 代码实现
https://github.com/makang101/machinelearning/blob/master/chapter7bayesian/AODE.ipynb