学习概率统计时提炼的备忘，不过由于时间原因有章节缺省了

概率统计备忘

第1章 随机事件的概率

第一节 随机事件和样本空间

随机试验与随机事件

• 试验 $E$：对某种实物的某种特性的观察
  • 确定性试验（必然试验）
  • 随机试验

• 事件：对随机试验的观察中，试验的结果。
  • 随机事件：随机试验的每一个可能结果
    • 由若干基本事件组成
  • 必然事件和不可能事件：我们把它当作特殊的随机事件

样本空间

• 样本空间 $\Omega,S$：全部基本事件组成的集合。（所以基本事件又叫样本点）

随机事件 $A,B$ 的关系和运算

• $A$ 发生必然导致 $B$ 发生：$A\subset B$

• $A,B$ 至少一个发生：$A+B$

• $A,B$ 同时发生：$AB$

• $A,B$ 不能同时发生：不相容/互斥，$AB=0$（可以扩展到多个）

• $A,B$ 对立/互逆：$AB=0,A+B=S$，记为 $A=\overline{B}$

• $A$ 发生 $B$ 不发生：$A-B$ ※：$A-B=A-AB=A\overline{B}$

• 运算满足：交换律，结合律，分配律（加法的和乘法的 ），$De Morgan$ 公式

第二节 古典概率 几何概率 统计概率

古典概率

• 古典概型：试验的样本空间只包含有限个基本事件，而且基本事件的发生可能性相等。
• 古典概率：$P(A)=\frac{\text{事件A所包含的基本事件的个数}}{\text{基本事件的总数}}$
  • 性质：
    1. 对于任意事件 $A$，$0\leq P(A)\leq1$
    2. $P(S)=1$
    3. 若 $A_{i}(i=1,\cdots,m)$ 不相容，则有 $P(\sum_{i=1}^{m}A_{})=\sum_{i=1}^{m}P(A_{i})$
    4. $P(A)=1-\overline{A}$
  • 计算：排列组合问题

几何概率

• 几何概型：向可度量的有界区域 $S$ 投掷质点，观察质点的位置。如果质点落在任意子区域 $A$ 的可能性大小和子区域的度量 $L(A)$ 成正比，与形状位置无关，则称该试验为几何概型。
• 古典概率：$P(A)=\frac{L(A)}{L(S)}$
  • 性质：
    1. 对于任意事件 $A$，$0\leq P(A)\leq1$
    2. $P(S)=1$
    3. 若 $A_{i}(i=1,\cdots)$ 不相容，则有 $P(\sum_{i=1}^{+\infty}A_{})=\sum_{i=1}^{+\infty}P(A_{i})$

概率的统计定义

• 频率：试验重复做了 $n$ 次，其中 $A$ 发生了 $n_{A}$ 次，称频率为 $f_{n}(A)=\frac{n_{A}}{n}$
  • 性质：
    1. 对于任意事件 $A$，$0\leq f_{n}(A)\leq1$
    2. $f_{n}(S)=1$
    3. 若 $A_{i}(i=1,\cdots,m)$ 不相容，则有 $f_{n}(\sum _{i=1}^{m}A_{})=\sum _{i=1}^{m}f_{n}(A_{i})$
• 统计概率（经验概率）：试验次数增大，频率趋于稳定的常数 $p$

第三节 概率的公理化定义

• 事件域：随机事件组成的集合 $F$

• 概率的公理化定义：$P=P(A)$ 是定义在上的一个实值函数，$A\in F$，而且 $P=P(A)$ 满足：

  1. 对于任意 $A$，$0\leq P(A)\leq1$
  2. $P(S)=1$
  3. 若 $A_{i}(i=1,\cdots)$ 不相容，则有 $P(\sum_{i=1}^{+\infty}A_{})=\sum_{i=1}^{+\infty}P(A_{i})$

  称 $P$ 为 $F$ 上的概率测度函数，即概率。
  $(S,F,P)$ 称为概率空间

• 其他的性质：

  1. 不可能事件的概率为0
  2. 有限可加性
  3. 若 $B\subset A$，则 $P(A-B)=P(A)-P(B),P(A)\leq P(B)$
  4. $P(A+B)=P(A)+(B)-P(AB)$
  5. 定理：若 $A_1\subset A_2\subset\cdots,B=\sum_{i=1}^{+\infty}A_{i}$，则 $\lim_{n\rightarrow +\infty}P(A_{n})=P(B)$
  6. 定理：若 $A_1\supset A_2\supset\cdots,B=\prod_{i=1}^{+\infty}A_{i}$，则 $\lim_{n\rightarrow +\infty}P(A_{n})=P(B)$

第四节 条件概率和乘法公式

• 条件概率：在条件 $A$ 下事件 $B$ 的概率 $P(B|A)$

• $P(B|A)=\frac{P(AB)}{P(A)}$

  • 性质：
    1. $P(S|B)=1$
    2. 有限可加性
    3. $P(A|B)=1-P(\overline{A}|B)$

• 乘法公式：$P(AB)=P(A|B)P(B)=P(B|A)P(A)$（可以扩展到多个）【$P(A_{i}|\prod_{k<i}A_{k})$】

第五节 全概率公式与贝叶斯公式

• 全概率公式：设事件组 $B_1,B_2,\cdots,B_n$，满足下列条件：

  1. $\sum_{i=1}^{n} B_{i}=1$ 2) $B_1,B_2,\cdots,B_n$ 互不相容 3)$P(B_{i})>0$

  则对于任意 $A$，有 $P(A)=\sum_{i=1}^{n}P(B_{i})P(A|B_{i})$

  一般来说 $B_1,B_2,\cdots,B_n$ 是 $A$ 发生的全部”原因“。

• $Bayes$ 公式：条件同全概率公式，则对于任意 $A$，有 $P(B_{i}|A)=\frac{P(B_{i})P(A|B_{i})}{\sum_{i=1}^{n}P(B_{i})P(A|B_{i})}$

  （全概率公式和条件概率公式）

第六节 事件的独立性

• $A$ 与 $B$ 依概率相互独立：$P(AB)=P(A)P(B)$

• 独立性下的概率公式：设 $A_1,A_2,\cdots,A_n$

  1. $P(A_1A_2...A_n)=P(A_1)P(A_2)...P(A_n)$
  2. $P(A_1+A_2+...+A_n)=1-P(\overline{A_1})P(\overline{A_2})...P(\overline{A_n})$（利用De Morgan公式）

---

第2章 随机变量及其分布

• 随机变量 $X$
• 随机变量的分布函数：单调不减，$F(+\infty)=1,F(-\infty)=0$
• 小概率原理/实际推断原理

常用离散型随机变量

• 两点分布（0-1分布）---------对应伯努利试验
  $P\left\{X=1\right\}=p,P\left\{X=1\right\}=1-p$

• 泊松分布
  $P\left\{X=k\right\}=e^{-\lambda}\frac{\lambda^{k}}{k!},k=1,2,...$
  记作 $X\sim\prod(\lambda)$
  用到了公式 $e^{x}=\sum\frac{x^k}{k!}$ 令 $x=\lambda$

  ※：查表利用余项和

• 超几何分布

  M件产品中取n件，其中次品N件，取出次品数X

  $P\left\{X=k\right\}=\frac{C_N^kC_{M-N}^{n-k}}{C_{M}^{n}}$

  $X\sim H(M,n,N)$

• 二项分布

  • n重相互独立的试验------------特殊的：n重伯努利试验

    $P\left\{X=k\right\}=C_n^kp^k(1-p)^{n-p}$

    $X\sim B(n,p)$

​ ※：当n很大，p很小时，二项分布接近泊松分布 $B(n,p)\sim\prod(np)$

常用连续型随机变量

• 均匀分布

  概率密度 $f(x)=\left\{\begin{matrix} \frac{1}{b-a} & a\leq x\leq b\\ 0 &其他 \end{matrix}\right.$
  $\zeta\sim U[a,b]$
  实例：公共汽车

• 指数分布
  概率密度 $f(x)=\left\{\begin{matrix} \lambda e^{-\lambda x}& x \geq0\\ 0 &x<0 \end{matrix}\right.$
  实例：寿命

• 韦布尔 $Weibull$ 分布
  概率密度 $f(x)=\left\{\begin{matrix}\frac{\beta }{\eta }\left ( \frac{x-x_0}{\beta } \right )^{\beta -1}e^{-(\frac{x-x_0}{\beta })^{\beta }}& x \geq x_{0}\\ 0 &x<x_{0} \end{matrix}\right.$

  $\beta=1$ 时就是指数分布

  $\zeta\sim W(\eta,\beta,x_{0})$

• $\Gamma$ 分布

  概率密度 $f(x)=\left\{\begin{matrix} \frac{\beta ^{\alpha }}{\Gamma \left ( \alpha \right )}x^{\alpha -1}e^{-\beta x}& x >0\\ 0 &x\leq0 \end{matrix}\right.$

​ $\alpha=1$ 时就是指数分布 $\alpha=n/2,\beta=1/2$ 时就是 $\chi^2(n)$ 分布

​ $\Gamma(\alpha)=\int_{0}^{+\infty}t^{\alpha -1}e^{-t}dt$

​ $\Gamma(1)=1$$,\Gamma(1/2)=\sqrt{\pi}$

​ $\Gamma(s+1)=s\Gamma(s)$

• 正态分布

  ※：泊松-欧拉积分 $\int_{-\infty}^{+\infty}e^{-x^2}=\sqrt{\pi}$

  概率密度 $f(x)=\frac{1 }{\sigma \sqrt{2\pi}}exp[-\frac{(x-\mu )^{2} }{2\sigma ^{2}}]$

  $\zeta\sim N(\mu,\sigma^2)$

  • 性质：对称性，以x轴为渐近线，$x=\mu\pm\sigma$ 处有拐点
  • 标准化：$F(x)=\Phi(\frac{x-\mu}{\sigma})$
  • （下侧）分位点：$\Phi(z_{\alpha})=\alpha$
    • 性质：$z_{\alpha}=-z_{1-\alpha}$

第3章 二维随机变量

• 二维随机变量
• 二维随机变量的概率分布函数 $F(x,-\infty)=0,F(-\infty,y)=0,F(-\infty,-\infty)=0,F(+\infty,+\infty)=1$

​ $P\left\{x_1\leq x\leq x_2,y_1\leq y\leq y_2\right\}=F(x_2,y_2)+F(x_1,y_1)-F(x_1,y_2)-F(x_2,y_1)$

• 二维随机变量的分布律

二维离散性随机变量

二维连续型随机变量

$F_{xy}''(x_0,y_0)=f(x_0,y_0)$

• 均匀分布

  $X\sim U(D)$

• 二维正态分布

边缘分布函数

$F_X(x)=F(x,+\infty),F_Y(y)=F(+\infty,y)$

• 边缘分布律 边缘概率密度

  求x的，就把全体y相加

• 条件分布律 条件概率密度

  $F_{X|Y}(x|y)=\frac{f(x,y))}{f_Y(y)}$

相互独立的随机变量

• 判定条件
  • 离散型：$P(X=x_i,Y=y_i)=P(X=x_i)P(Y=y_i)$
  • 连续型：$f(X=x_i,Y=y_i)=f_X(x)f_Y(y)$ 几乎处处

第4章 随机变量的函数分布

第5章 随机变量的数字特征

第6章 大数定理和中心极限定理

第7章 统计总体和样本

第8章 参数估计

第9章 假设检验

第10章 随机过程的基本概念

第11章 平稳过程

第12章 马尔科夫链

第一节 马尔科夫链的概念

1.马尔科夫链的定义

$P \left\{ X(t_{m+1})=j_{m+1}\mid X(t_{1})=j_{1},\cdots,X(t_{m})=j_{m} \right\}=P \left\{ X(t_{m+1})=j_{m+1}\mid X(t_{m})=j_{m} \right\}$
此过程称为马尔科夫链，该式称为马尔可夫性或者无后效性。
直观含义：当一直系统的当前情况的条件下，系统将来的发展与系统的过去无关。
（一般不证明，凭感觉）

2.马尔科夫链分类

状态空间 $S$ 是离散的（可谓有限集或者可列集）（相当于值域），参数集 $T$ 可为离散或者连续两类。

3.离散参数马尔科夫链

转移概率

在离散参数马尔科夫链中，条件概率 $P \left\{ X(t_{m+1})=j\mid X(t_{m})=i \right\}=p_{ij}(t_{m})$ 称为 $X(t)$ 在时刻 $t_{m}$ 由状态i一步到j的一步转移概率，成为转移概率。

• 经过 $n$ 步的转移概率 $P \left\{ X(t_{m+n})=j\mid X(t_{m})=i \right\}=p^{(n)}_{ij}(t_{m})$。
• 性质：

1. $p^{(n)}_{ij}(t_{m})\geq 0$

2. $\sum _{j\in s} p^{(n)}_{ij}(t_{m})= 1$

4.离散参数齐次马尔科夫链（重点）

定义:离散参数马尔科夫链的一步转移概率 $p_{ij}$ 与时刻 $t_{m}$ 无关。
eg: 伯努利序列 （事件相互独立，状态空间 $S=\left\{0，1\right\}$，发生的概率是 $p$ 和 $1-p$）

第二节 参数离散的齐次马尔科夫链

1. 转移概率矩阵

设 $\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}$ 是齐次马尔科夫链，由于状态空间 $S$ 是离散的，不妨设其状态空间 $S=\left\{0,1,2,\cdots,n,\cdots\right\}$
则对内的任意两个状态 $i$ 和 $j$，$p_{ij}$ 排序一个矩阵。

$\begin{bmatrix} p_{00}& p_{01} & \cdots &p_{0j} &\cdots\\ p_{10} &p_{11} &\cdots &p_{1j} & \cdots \\ \vdots & \vdots && \vdots \\p_{i0} &p_{i1} &\cdots &p_{ij} & \cdots \\\vdots & \vdots && \vdots \\\end{bmatrix}$

称为（一步）转移概率矩阵。
$p_{ij}=P\left\{X(t_{m+1}=j\mid X(t_{t_{m}}))=i \right\}$ （注意是从 $i$ 到 $j$，$i$ 在前面）
eg: 伯努利序列，一维随机游动，成功流（第 $n$ 次试验接连第 $k$ 次成功）

2.切普曼-科尔莫戈罗夫方程

• 定理 ：

  • 设 $\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}$ 是马尔科夫链，则 $p^{(n+l)}_{ij}(t_{m})=\sum_{k} p^{(n)}_{ik}(t_{m})p^{(l)}_{kj}(t_{m+n})$（联想到矩阵的乘法），可写成矩阵形式 $p^{(n+l)}(t_{m})=p^{(n)}(t_{m})p^{(l)}(t_{m+n})$。也即是说，低步转移矩概率阵能够构造高步转移概率矩阵。

  • 如果是齐次马尔可夫链，可以写成 $p^{(n+l)}_{ij}=\sum_{k} p^{(n)}_{ik}p^{(l)}_{kj}$，可写成矩阵形式 $p^{(n+l)}=p^{(n)}p^{(l)}$。所以，可以得到 $p^{(n)}=p^{n}$。

3.有限概率分布

（1）初始分布

​ 马尔科夫链 $\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}$ 在初始时刻 $t_{0}$ 的概率分布 $p_{j}(t_{0})=P\left\{X(t_{0})=j\right\},j=0,1,2,\cdots$，称为初始分布.

（2）绝对概率（瞬时概率）

​ 马尔可夫链 $\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}$ 在任何时刻 $t_{n}$ 的一维概率分布 $p_{j}(t_{0n})=P\left\{X(t_{n})=j\right\},j=0,1,2,\cdots$

（3）结论

​ 齐次马尔可夫链在时刻 $t_{n}$ 的瞬时概率完全地由初始分布和n步转移概率所确定。
由全概率公式得到 $p_{j}(t_{n})=P\left\{X(t_{n})=j\right\}=\sum_{i=0}^{\infty}P\left\{X(t_{0})=i\right\}*P\left\{X(t_{n})=j \mid X(t_{0})=i\right\}=\sum_{i=0}^{\infty}p_{t}(t_{0})p^{(n)}_{ij}t_{0}$

​ 若马氏链具有齐次性，则上式化为 $p_{j}(t_{n})=\sum_{i=0}^{\infty}p_{t}(t_{0})p^{(n)}_{ij}$

​ 写成向量形式得 $(p_{0}(t_{n}),p_{1}(t_{tn}),\cdots,p_{j}(t_{n}),\cdots)=(p_{0}(t_{0}),p_{1}(t_{0}),\cdots,p_{j}(t_{0}),\cdots)*P^{(n)}$

(4)n维概率分布（有限维分布）

设齐次马氏链的参数集和状态空间都是非负整数集

• 定理：

  设齐次马氏链 $\left\{X_{ },n=0,1,2,\cdots\right\}$ 的状态空间 $S=\left\{0,1,2,\cdots,i,\cdots\right\}$，则对 $T$ 内任意 $n$ 个非负整数 $k_{1}<k_{2}<k_{3}<\cdots<k_{n}$ 和 $S$ 内任意 $n$ 个状态 $j_{1},j_{2},\cdots,j_{n}$，有 $P\left\{X(k_{1}=j_{1},X(k_{2})=j_{2},\cdots,X(k_{n})=j_{n})\right\}=\sum^{+\infty}_{i=0}p_{i}(0)*p_{ij_{1}}^{k_{1}}*p^{k_2-k_{1}}_{j_{1}j_{2}}*\cdots*p_{j_{n-1},j_{n}}^{(k_{n}-k_{n-1})}$

  （对于做题来说并没有什么用）

  （用乘法公式,概率公式现场推，运用马氏链的性质）

4.平稳分布

• 定义：对于齐次马尔科夫链一步转移概率矩阵 $P=(p_{ij}),p_{ij}=P\left\{X(t_{m+1})=j\mid X(t_m)=i\right\}$。一维概率分布为 $p_{j}(t_{n})=p_{j},j=0,1,2,\cdots$。如果存在概率分布 $p_{j}，p_{j} \geq 0,$ 满足 $p_{j}=\sum^{=+\infty}_{i=0}p_{i}p_{ij},j=0,1,2,\cdots$，则称 $p_{j},j=0,1,2,\cdots$ 为平稳分布。称 $X(t)$ 具有平稳性，是平稳齐次马尔科夫链。

  即 $(p_{0}(t_{n}),p_{1}(t_{tn}),\cdots,p_{j}(t_{n}),\cdots)=(p_{0}(t_{0}),p_{1}(t_{0}),\cdots,p_{j}(t_{0}),\cdots)*P^{(n)}=(p_{0}(t_{0}),p_{1}(t_{0}),\cdots,p_{j}(t_{0}),\cdots)$

  （其实就是不动点）

• 定理：

  如果齐次马尔可夫链 $\left\{X_{t},t=t_{0},\cdots,t_{n},\cdots\right\}$ 的初始分布 $p_{j}(t_{n})=P\left\{X(t_{0}=j)\right\},j=0,1,2,\cdots$ 是一个平稳分布。则对 $\forall n,p_{j}(t_{n})=P\left\{X(t_{0}=j)\right\}=p_{j}(t_{0}),j=0,1,2,\cdots$。

• 做题：
  设出相应的值 $p_{1},p_{2},p_{3},\cdots$,然后解方程。值得注意的是，记得验证最后这些值的和须等于1。