第二章生成式分类器

背景

在许多现实的问题中，即使在基本条件保持不变的情况下，每一次观察和测量得到的结果也具有不确定性，而非确切的因果关系。

只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。所以，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。

贝叶斯判别是基于统计的决策理论。

观察值是随机的且服从一定的概率分布。

若 $P(\omega_1 | x) > P(\omega_2 | x)$ ，则 $x \in \omega_1$ ，
若 $P(\omega_1 | x) < P(\omega_2 | x)$ ，则 $x \in \omega_2$ 。

$P(\omega_i | x)$ 被称为后验概率， $P(x | \omega_i)$ 为似然函数， $P(\omega)$ 为先验概率。

先验概率即取自以往经验的概率，后验概率是计算得到的概率。

后验概率的计算公式为： $P(\omega_i | x) = \frac{P(x | \omega_i)P(\omega_i)}{P(x)}$ ，其中， $P(x | \omega_i)$ 也被称为似然函数。

另外，可以用似然比 $l_{12}(x) = \frac{P(x | \omega_1)}{P(x | \omega_2)}$ 同判决阈值 $\theta = \frac{P(\omega_2)}{P(\omega_1)}$ 做比较，得到所属的类。

似然比只是贝叶斯后验概率计算公式的变形，仅记住有此概念即可。

使用条件平均风险 $r_j(x) = \sum_{i = 1}^{M} L_{ij}P(\omega_i | x)$ 修正贝叶斯最小概率判别。其中， $L_{ij}$ 是把属于 $\omega_i$ 类的模式划分到 $\omega_j$ 类的代价。

相当于加权。

没太明白具体的数学推导，应对考试暂时记住公式：

两类问题且其类模式都是正态分布时，判别界面：

$f(x) = d_1(x) - d_2(x) \\ = lnP(\omega_1) - lnP(\omega_2) + (m_1 - m_2)^T C^{-1}x - \frac{1}{2}m_1^TC^{-1}m_1 + \frac{1}{2}m_2^TC^{-1}m_2 = 0$

设以下模式类别具有正态概率密度函数：

$\omega_1: \{(0,0)^T, (2,0)^T, (2,2)^T, (0,2)^T\}$
$\omega_2:\{(4,4)^T, (6,4)^T, (6,6)^T, (4,6)^T\}$

（1）设 $P(\omega_1)= P(\omega_2)= \frac{1}{2}$ ，求这两类模式之间的贝叶斯判别界面的方程式。

（2）绘出判别界面。