Native Bayes Classifier

在 Sat 22 August 2015 发布于 ML 分类

1.概率

某个试验的样本空间为\(S\)。对应于其中任一事件\(E\)。记\(P(E)\),它满足如下3个公理

公理1: \(0 <= P(E) <= 1\)

公理2: \(P(S) = 1\)

公理3: 对任一列互不相容的事件\(E_1,E_2\), ...(即如果\(i \neq j\)\(E_IE_J\neq\phi\)),有

$$P(\bigcup_{i=1}^{n}E_i) = P(\sum_{i=1}^nE_i)$$

就称\(P(E)\)为事件\(E\)的概率

2.条件概率

条件概率公式

$$P(E|F) = \frac{P(EF)}{P(F)}$$

, 变换得到

$$P(EF) = P(F)P(E|F)$$

说明了\(E\)\(F\)同时发生的概率,等于\(F\)发生的概率乘以在\(F\)发生的条件下E发生的条件概率。然后在变换推导可以得到

$$P(B|A) = \frac{P(AB)}{P(A)} = \frac{P(A|B)P(B)}{P(A)}$$

推广可以得到任意事件交的概率(乘法法则)

$$P(E_1E_2E_3...E_n) = P(E_1)P(E_2|E_1)P(E_3|E_1E_2)...P(E_n|E_1...E_{n-1})$$
3.全概率公式

假定\(F_1, F_2, F_3, ... , F_n 是互不相容的事件,且(\bigcup_{i=1}^{n}F_i = S\)换而言之,这些事件中必有一件发生,记

$$E = \bigcup_{i = 1}^{n}EF_i$$

又由于\(EF_i(i = 1, 2, ..., n)\)是互不相容的,可以得到公式

$$P(E) = \sum_{i = 1}^{n}P(EF_i) = \sum_{i =i}^nP(E|F_i)P(F_i)$$

这个公式被称为全概率公式。它表示\(P(E)\)等于\(P(E|F_j)\)的加权平均,每项的权为事件\(F_i\)发生的概率

4.贝叶斯公式
5.朴素贝叶斯公式推导
引用

[1]概率论基础教程