概率论公式笔记01

条件概率

\[ \text { 事件 } B \text { 的发生给事件 } A \text { 是否发生所带来的额外信息 } \]

\[ P(A \mid B)=\frac{P(A B)}{P(B)} \]

事件独立

\[ P(A B)=P(A \mid B) P(B)=P(A) P(B) \]

如果 \(A\) 和 \(B\) 两个事件满足 \(P(A B)=P(A) P(B)\), 则称事件 \(A\) 和事件 \(B\) 独立。

全概率公式

由因到果

\[ \begin{aligned} P(A)=& P\left(B_{1}\right) P\left(A \mid B_{1}\right)+P\left(B_{2}\right) P\left(A \mid B_{2}\right) \\ &+\ldots+P\left(B_{n}\right) P\left(A \mid B_{n}\right) \end{aligned} \]

贝叶斯公式

由果推因

\[ \begin{gathered} P\left(B_{i} \mid A\right)=\frac{P\left(A B_{i}\right)}{P(A)}=\frac{P\left(B_{i}\right) P\left(A \mid B_{i}\right)}{P(A)} \\ =\frac{P\left(B_{i}\right) P\left(A \mid B_{i}\right)}{P\left(B_{1}\right) P\left(A \mid B_{1}\right)+P\left(B_{2}\right) P\left(A \mid B_{2}\right)+\ldots+P\left(B_{n}\right) P\left(A \mid B_{n}\right)} \end{gathered} \]

事件独立

\[ P(A \cap B)=P(A) P(B) \]

条件独立

事件B是否发生不影响事件A发生的概率

\[ P(A \mid B \cap C)=P(A \mid C) \]

一组事件的独立

\[ \begin{aligned} &P\left(A_{1} \cap A_{2}\right)=P\left(A_{1}\right) P\left(A_{2}\right) \\ &P\left(A_{1} \cap A_{3}\right)=P\left(A_{1}\right) P\left(A_{3}\right) \\ &P\left(A_{2} \cap A_{3}\right)=P\left(A_{2}\right) P\left(A_{3}\right) \\ &P\left(A_{1} \cap A_{2} \cap A_{3}\right)=P\left(A_{1}\right) P\left(A_{2}\right) P\left(A_{3}\right) \end{aligned} \]

独立重复试验

在 \(n\) 次试验中, 有 \(k\) 次试验结果为正面的概率为:

\[ p(k)=\left(\begin{array}{c} n \\ k \end{array}\right) p^{k}(1-p)^{n-k} \]

随机变量

随机变量的取值只能是有限多个或者是可数的无限多个值

离散型随机变量

\[ P_{X}(x)=P(\{X=x\}) \]

\[ \sum_{x} P_{X}(x)=1 \]

\[ P(X \in S)=\sum_{x \in S} p_{X}(x) \]

概率质量函数-PMF

假设 \(X\) 是一个定义在可数样本空间 \(S\) 上的离散随机变量 \(S \subseteq \mathrm{R}\), 则其概率质量函数 \(f_{X}(x)\) 为

\[ f_{X}(x)= \begin{cases}\operatorname{Pr}(X=x), & x \in S, \\ 0, & x \in \mathbb{R} \backslash S .\end{cases} \]

随机变量的数字特征

服从参数为 \((n, p)\) 的 二项分布的随机变量 \(X\)：

期望: \(E[X]=n p\)

方差: \(V[X]=n p(1-p)\)

几何分布

几何分布的期望和方差分别为:

\[ \begin{aligned} &E[X]=\frac{1}{p} \\ &V[X]=\frac{1-p}{p^{2}} \end{aligned} \]

泊松分布

\(n\) 次独立的伯努利试验成功的次数是一个服从二项分布的随机变量, 参数为 \(n\) 和 \(p\), 期望为 \(n p\) 。一种特殊的情况: \(n\) 非常大, \(p\) 非常小, 但是期望 \(n p\) 结果适中。

二项分布的分布列可以简化为泊松分布：

\[ p_{X}(k)=e^{-\lambda} \frac{\lambda^{k}}{k !} \]

其中,

\[ \lambda=n p, \quad k=0,1,2, \ldots \]

期望和方差满足:

\[ \begin{aligned} &E[X]=\lambda \\ &V[X]=\lambda \end{aligned} \]

特别的, 当我们的 \(n \rightarrow \infty\), 且 \(p=\lambda / n \rightarrow 0\) 时, 对应的二项分布列:

\[ p_{X}(k)=P(X=k)=\left(\begin{array}{c} n \\ k \end{array}\right) p^{k}(1-p)^{n-k} \]

就收敛于上面的泊松分布列了。

当 \(\lambda=n p\), 且 \(n\) 非常大, \(p\) 非常小, 泊松分布就是二项分布的一个非常好的近似。

概率密度函数 PDF

  1. 实数轴上单个点的概率密度函数 PDF 取值 \(f_{X}(x)\) 不是概率, 而是概率律, 取值可以大于1。
  2. 连续型随机变量的概率, 一般讨论的是在一个区域内取值的概率, 而不是单点概率值，在连续区间内讨论单个点没有意义。

连续型随机变量在区间内取值的概率, 可以求积分来解决。随机变量在 \([a, b]\) 区间内的概率即为:

\[P(a \leq X \leq b)=\int_{a}^{b} f_{X}(x) d x\]

当 \(x=a\) 时, 有 \(P(a \leq X \leq a)=\int_{a}^{a} f_{X}(x) d x=0\), 因此区间两端是否取等也无关紧要 了:

\[ P(a \leq X \leq b)=P(a<X \leq b)=P(a \leq X<b)=P(a<X<b) \]

同样的, 我们继续进行类比, 连续型随机变量概率的非负性和归一性体现在:

非负性：对一切的 \(x\) 都有 \(f_{X}(x) \geq 0\);

归一化： \(P(-\infty \leq X \leq \infty)=\int_{-\infty}^{\infty} f_{X}(x) d x=1\)

连续型随机变量的期望与方差

\[ E[X]=\int_{-\infty}^{\infty} x f_{X}(x) d x \]

\[ V[X]=E\left[(X-E[X])^{2}\right]=\int_{-\infty}^{\infty}(x-E[X])^{2} f_{X}(x) d x \]

正态分布及正态随机变量

正态分布中有两个参数, 一个是随机变量的均值 \(\mu\), 另一个是随机变量的标准差 \(\sigma\), 他的概率密 度函数 PDF 为:

\[f_{X}(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-(x-\mu)^{2} /\left(2 \sigma^{2}\right)}\]

\(\text {标准正态分布： }\text { 均值 } \mu=0 \text {, 标准差 } \sigma=1 \)

指数分布及指数随机变量

指数随机变量 \(X\) 的概率密度函数为:

\[ f_{X}(x)=\left\{\begin{array}{rr} \lambda e^{-\lambda x} & x \geq 0 \\ 0 & \text { 其他 } \end{array}\right. \]

其中, \(\lambda>0\)。

  1. 随机变量 \(X\) 超过某个指定值 \(a\) 的概率, 此处 \(a \geq 0\) :

\[P(X \geq a)=\int_{a}^{\infty} \lambda e^{-\lambda x} d x=e^{-\lambda a}\]

  1. 随机变量 \(X\) 位于区间 \([a, b]\) 内的概率:

\[ P(a \leq X \leq b)=P(X \geq a)-P(X \geq b)=e^{-\lambda a}-e^{-\lambda b} \]

  1. 整个指数分布的数字特征包含参数 \(\lambda\) 的物理含义。可通过期望和方差的定义积分求得: \(E[X]=\frac{1}{\lambda}\), \(V[X]=\frac{1}{\lambda^{2}}\)

均匀分布

概率密度：

\[ \begin{gathered} f(x)=\frac{1}{b-a}, a<x<b \\ f(x)=0, \text { else } \end{gathered} \]

代码

code

参考资料