概率论与数理统计 (Part 1): 概率论基础

这是 概率论与数理统计 系列的第一期。

本学期我在杨丽丽教授的课程上学习了概率论与数理统计，以下是我整理的学习笔记。内容涵盖了概率论的基本概念、概率分布、统计推断等方面。通过系统地整理和总结相关知识点，旨在帮助读者更好地理解和掌握概率论与数理统计的核心内容。

如果有练习需要，可以前往“数苑”平台进行更多练习。

1 概率论基础

1.1 概率空间

1.1.1 样本空间与事件

样本空间是所有可能结果的集合，记为 $\Omega$。事件是样本空间的子集，表示某些特定结果的集合。

例子：掷一枚公平的硬币，样本空间为 $\Omega = \{H, T\}$，事件 $A$ 表示掷出正面，则 $A = \{H\}$。这样只有一个样本点的事件被称为基本事件，例如 $A$ 就是一个基本事件。事件 $B$ 表示掷出反面，则 $B = \{T\}$，也是一个基本事件。事件 $C$ 表示掷出正面或反面，则 $C = \{H, T\}$，是一个复合事件。

这是一个非常简单的例子，但它展示了概率空间的基本构成。我们可以通过定义不同的事件来分析各种情况，例如事件 $B$ 表示掷出反面，则 $B = \{T\}$。

事件的发生： 事件 $A$ 发生当且仅当样本点 $\omega \in A$。因此，若$A \subseteq B$，则事件 $A$ 发生时事件 $B$ 一定发生。

事件的关系类型：

• 若 $A \subseteq B$，则称事件 $A$ 是事件 $B$ 的子事件（Subevent）。
• 若 $A \cap B = \emptyset$，则称事件 $A$ 和事件 $B$ 是互斥事件（Exclusive Event）。
• 若 $A \cap B = \emptyset$ 且 $A \cup B = \Omega$，则称事件 $A$ 和事件 $B$ 是互补事件（Complementary Events）。

1.1.2 $\sigma$-代数

现代概率论中，由于一些历史上的悖论，柯尔莫哥洛夫引入了$\sigma$-代数的概念来定义事件的集合。

定义：设 $\Omega$ 是一个非空集合，$\mathcal{F}$ 是 $\Omega$ 的子集的集合，如果满足以下条件，则称 $\mathcal{F}$ 是 $\Omega$ 上的 $\sigma$-代数：

1. $\Omega \in \mathcal{F}$。
2. 如果 $A \in \mathcal{F}$，则 $\bar{A} \in \mathcal{F}$。
3. 如果 $A_1, A_2, \ldots \in \mathcal{F}$，则 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$。

在测度论上，我们通常将$\sigma$-代数定义在Borel集上，确保了我们可以对事件进行合理的测度和概率分配。这种结构使得概率论具有了坚实的数学基础，避免了历史上的一些悖论问题。

Borel集： Borel集是具有如下性质的集合：

1. 包含所有开区间。
2. 闭区间也是Borel集。
3. 通过有限次或可数次的集合运算（如并集、交集、补集）得到的集合也是Borel集。

我们来看一个例子：

例子：在实数轴上，开区间 $(0, 1)$ 和闭区间 $[0, 1]$ 都是Borel集。通过集合运算，我们可以得到更多的Borel集，例如 $A = (0, 1) \cup [2, 3]$ 也是一个Borel集。

Borel集合描述的是样本空间的一个子集族，这些集合可以被赋予概率值，从而构成一个概率空间。通过定义Borel集，我们可以确保我们讨论的事件是可测的，从而能够合理地分配概率。

1.1.4 概率（测度）

概率是定义在$\sigma$-代数上的一个测度函数$P:\mathcal{F} \to \mathbb{R}$，满足以下条件：

1. 非负性：对于所有 $A \in \mathcal{F}$，$P(A) \geq 0$。
2. 规范化：$P(\Omega) = 1$。
3. 可列可加性：如果 $A_1, A_2, \ldots$ 是 $\mathcal{F}$ 中的两两不交事件，则 $P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i)$。

在历史上，人们采用了很多不同的概率定义方法，主要包括古典概率、几何概率和公理化概率三种。下面我们将分别介绍这三种定义方法：

古典概率

古典概率建立在有限离散样本空间上，假设样本空间 $\Omega$ 中的每个基本事件发生的可能性相等，也就是说，$\forall w_i,w_j, P(w_i) = P(w_j)$。那么事件 $A$ 的概率可以通过以下公式计算：

$P(A) = \frac{|A|}{|\Omega|}$

频率学派认为概率是事件在大量重复试验中出现的频率的极限值。

布封投针实验： 在布封投针实验中，我们将一根长度为 $l$ 的针随机地投掷到一个平面上，平面上有平行的线条，线条之间的距离为 $d$。我们想要计算针与线条相交的概率。通过几何分析和积分技巧，我们可以得出以下结论：

• 当 $l \leq d$ 时，针与线条相交的概率为 $P = \frac{2l}{\pi d}$。
• 当 $l > d$ 时，针与线条相交的概率为 $P = \frac{2l}{\pi d} - \frac{2\sqrt{l^2 - d^2}}{\pi d}$。

布封根据这个原理，通过大量的实验证明了随机试验可以估计 $\pi$ 的值，这也是频率概率的一个重要应用。

虽然这种定义在某些情况下是有用的，但它并不能适用于所有类型的事件，特别是那些无法进行大量重复试验的事件，我们需要更一般的概率定义方法来处理这些情况。

几何概率

几何概率适用于连续样本空间，事件 $A$ 的概率可以通过以下公式计算： $P(A) = \frac{\text{事件 } A \text{ 的测度}}{\text{样本空间 } \Omega \text{ 的测度}}$

但是，人们尚未解决测度的严格定义问题，这导致了一些悖论的出现，例如巴拿赫-塔尔斯基悖论和斯特罗姆伯格悖论。这些悖论表明，在某些情况下，几何概率的定义可能会导致矛盾的结果，因此需要更严格的数学框架来解决这些问题。

公理化概率

公理化概率是现代概率论的基础，建立在柯尔莫哥洛夫的公理体系上。通过定义概率空间，我们可以系统地分析各种随机现象，并为后续的概率论和数理统计的学习打下坚实的基础。

公理化概率基于三条基本公理：

1. 非负性：对于所有事件 $A$，$P(A) \ge 0$。
2. 规范化：$P(\Omega) = 1$。
3. 可列可加性：如果 $A_1, A_2, \ldots$ 是 $\mathcal{F}$ 中的两两不交事件，则 $P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i)$。

注： 可列可加性蕴含了空集的概率为零，即 $P(\emptyset) = 0$。我们可以通过以下推导来证明这一点： $P(\Omega) = P(\Omega \cup \emptyset) = P(\Omega) + P(\emptyset) \implies P(\emptyset) = 0$

公理化概率统一了离散和连续的概率定义，同时解决了历史上的悖论问题，使得概率论具有了坚实的数学基础。

1.1.5 概率空间

概率空间是一个三元组，我们用 $(\Omega, \mathcal{F}, P)$ 来表示，其中 $\Omega$ 是样本空间，$\mathcal{F}$ 是 $\Omega$ 上的 $\sigma$-代数，$P$ 是定义在 $\mathcal{F}$ 上的概率测度。

概率空间给予了我们一个研究事件与衡量事件发生可能性的代数结构，使得我们能够系统地分析各种随机现象。通过定义概率空间，我们可以将抽象的概率概念具体化，并为后续的概率论和数理统计的学习打下坚实的基础。

1.1.6 概率计算

概率计算建立在公理化概率的基础上，利用概率的基本性质和定理来计算事件的概率。常用的概率计算方法可以依靠若干组合学上的定理来实现，例如：

• 容斥原理：对于任意事件 $A_1, A_2, \ldots, A_n$，有 $P\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n P(A_i) - \sum_{1 \le i < j \le n} P(A_i \cap A_j) + \\ \cdots + (-1)^{n+1} P\left(\bigcap_{i=1}^n A_i\right)$
• 子集的概率比较：如果 $A \subseteq B$，则 $P(A) \le P(B)$。也就是说，概率测度不改变链上的偏序关系。我们可以通过以下推导来证明这一点： $P(B) = P(A \cup (B \setminus A)) = P(A) + P(B \setminus A) \ge P(A)$
• 其它的组合学定理…

由于概率的可列可加性，我们可以通过很多的组合学定理解决概率的计算问题，此处不再赘述。

1.1.7 一些习题

习题A组（集合论）

习题1 若$A \cap B = \overline{A \cup B}$, 证明$A \cup B = \Omega$

习题2 对于$\bigcup_{i=1}^n A_i$，证明其可以分解为两两互斥的事件的并集。（提示：采用首次采用原则，$B_1 = A_1, B_2 = A_2 \setminus A_1, \ldots, B_n = A_n \setminus (A_1 \cup \cdots \cup A_{n-1})$）

习题3 证明$A\cap C = B \cap C\Leftrightarrow (\overline{A\cup B}) \cap C = (\bar{A} \cap C) \cup (\bar{B} \cap C)$

Proof. 右侧$(\bar{A} \cap \bar{B}) \cap C = (\bar{A} \cup C) \cap (\bar{B} \cap C) = (\bar{A} \cap C) \cup (\bar{B} \cap C)$。

引理. $X \cup Y = X \cap Y \Leftrightarrow X = Y$

subproof. 由$X \cup Y = X \cap Y$，我们有$X \subseteq Y$和$Y \subseteq X$，所以$X = Y$。反过来，由$X = Y$，我们有$X \cup Y = X \cap Y$.

因此我们令$X = (\bar{A} \cap C)$和$Y = (\bar{B} \cap C)$，则有$(\bar{A} \cap C) \cup (\bar{B} \cap C) = (\bar{A} \cap C) \cap (\bar{B} \cap C)$当且仅当$(\bar{A} \cap C) = (\bar{B} \cap C)$.

我们注意到左侧$A \cap C = B \cap C$, 则$C \setminus (A \cap C) = C \setminus (B \cap C)$，即$(\bar{A} \cap C) = (\bar{B} \cap C)$.

因此左右可以互推。

习题4 用集合列表示极限：$\{f_n(x), x\in [0,1]\}, \lim_{n\to \infty} f_n(x) \to 0$、

习题B组（组合学）

习题1 求将$n$个小球放入$N(\geq n)$个盒子中，使得每个盒子最多放一个球的方案数。

这个问题很简单，我们可以反过来考虑，找出$n$个盒子放入$n$个小球的方案数。如果不保证每个盒子只有一个小球，总共有$N^n$次选择（假设盒子有标号），但是我们需要保证每个盒子最多放一个小球，因此我们需要从$N$个盒子中选择$n$个来放置小球，这有$\frac{N!}{(N-n)!}$种选择。因此概率为$P(A) = \frac{P_{N}^n}{N^n}$

习题2（生日悖论） 在一个班级中，如果有$n$个学生，那么至少有两个人生日相同的概率为多少？

我们算反面，注意到这等价于上一题的放小球问题，因此至少有两个人生日相同的概率为$P(A) = 1 - \frac{365!}{(365-n)!365^n}$

习题3（伯努利信件错配问题） 有$n$封信和$n$个信封，每封信都有一个对应的信封。每一个信件都送错的概率是？

习题4 若事件$A, B$中只有一个发生的概率为0.3，且$P(A) + P(B) = 0.5$，则它们至少有一个不发生的概率是？

由题意，$P(A \cup B - AB) = 0.3$，即$P(A \cup B) - P(AB) = 0.3$

$P(\overline{A} \cup \overline{B}) = 1 - P(AB)$,且$P(A\cup B) = 0.5 - P(AB) \Rightarrow P(A\cup B)+P(AB) = 0.5$

从而我们可以解出$P(AB)。$

1.2 独立事件与条件概率

独立事件是指两个事件之间没有任何关联，即一个事件的发生与另一个事件的发生没有任何关系。对于两个事件 $A$ 和 $B$，如果满足以下条件，则称它们是独立的： $P(AB) = P(A)P(B)$

独立性是对于事件之间关系性质的描述，而不是事件本身的性质。一个事件可以是独立的，也可以是非独立的，这取决于它与其他事件之间的关系。

如果两个事件的独立关系并不确定，我们引入条件概率来描述事件之间的关系。对于事件 $A$ 和 $B$，如果 $P(B) > 0$，则条件概率 $P(A|B)$ 定义为： $P(A|B) = \frac{P(AB)}{P(B)}$

注： $P(A|B) = 0$不代表事件 $A$ 和 $B$ 是独立的，因为此时表明$P(AB) = 0$，但 $P(A)P(B)$ 不一定为零。

定理：条件概率是概率测度。

证明：对于任意事件 $A$，$P(A|B) \ge 0$；$P(\Omega|B) = 1$；如果 $A_1, A_2, \ldots$ 是 $\mathcal{F}$ 中的两两不交事件，则 $P\left(\bigcup_{i=1}^{\infty} A_i \Big| B\right) = \frac{P\left(\bigcup_{i=1}^{\infty} A_i B\right)}{P(B)} = \frac{\sum_{i=1}^{\infty} P(A_i B)}{P(B)} = \sum_{i=1}^{\infty} P(A_i | B)$

因此，条件概率满足概率测度的定义。

1.2.1 全概率公式与贝叶斯定理

全概率公式是条件概率的一个重要应用，它描述了事件 $A$ 的概率可以通过事件 $B_i$ 的条件概率来计算。设 $\{B_1, B_2, \ldots, B_n\}$ 是一个事件的划分，即 $B_i$ 之间两两不交且 $\bigcup_{i=1}^n B_i = \Omega$，则全概率公式为：

$P(A) = \sum_{i=1}^n P(A|B_i)P(B_i)$

这个公式的证明是显然的：

证明： 注意到$P(A) = P(A \cap \Omega) = P\left(A \cap \bigcup_{i=1}^n B_i\right) = \sum_{i=1}^n P(AB_i)$，而$P(AB_i) = P(A|B_i)P(B_i)$，因此得到全概率公式。

利用全概率公式我们可以轻易得到贝叶斯公式：

$P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)}$

我们称$P(A|B_i)$为似然函数，$P(B_i)$为先验概率，$P(B_i|A)$为后验概率。贝叶斯定理在统计推断中有着重要的应用，特别是在贝叶斯统计中，我们通过更新先验概率来得到后验概率，从而进行推断和决策。后验概率的含义是，在观察到事件 $A$ 发生之后，事件 $B_i$ 发生的概率。通过贝叶斯定理，我们可以将新的信息（事件 $A$ 的发生）纳入我们的概率评估中，从而得到更准确的概率估计。

贝叶斯公式给出了条件概率对于一般概率的加权公式，这表明，我们可以利用多余的信息来提高我们对于概率的分解，从而对于概率的结构有更深入的理解。

1.2.3 两两独立（pairwise independent）与相互独立（mutually independent）

对于多个事件的独立性，我们需要区分两两独立和相互独立的概念。两两独立是指对于任意两个事件 $A_i$ 和 $A_j$，它们是独立的，即 $P(A_i A_j) = P(A_i)P(A_j)$；而相互独立是指对于任意子集 $\{A_{i_1}, A_{i_2}, \ldots, A_{i_k}\}$，它们是独立的，即 $P(A_{i_1} A_{i_2} \cdots A_{i_k}) = P(A_{i_1})P(A_{i_2}) \cdots P(A_{i_k})$。

1.2.4 独立事件的性质

定理：若$A$和$B$是独立事件，则$\bar{A}$和$B$也是独立事件。

证明：由于$A$和$B$是独立事件，我们有$P(AB) = P(A)P(B)$。因此， $P(\bar{A}B) = P(B) - P(AB) = P(B) - P(A)P(B) = P(B)(1 - P(A)) = P(\bar{A})P(B)$ 所以$\bar{A}$和$B$是独立事件。

1.2.5 一些习题

习题1 $P(\bigcap_{i=1}^n A_i) \geq \sum_{i=1}^n P(A_i) - (n-1)$

习题2 $|P(AB) - P(A)P(B)| \leq \frac{1}{4}$

习题3 $P(A) = 0.6, P(B) = 0.7$, 求$P(AB)$的范围。

习题4 圆排列：设6个人围成一圈，求至少有两个人相邻的概率。（如果旋转之后一致，那么认为相同）。

1.3 随机变量与概率分布

1.3.1 随机变量

随机变量是一个函数$X: \Omega \to \mathbb{R}$，它将样本空间 $\Omega$ 中的每个样本点 $\omega$ 映射到实数轴上的一个实数 $X(\omega)$。随机变量的引入使得我们可以用数值来描述随机现象，从而便于进行数学分析和计算。

例如，在掷一枚骰子的试验中，样本空间 $\Omega = \{1, 2, 3, 4, 5, 6\}$，我们可以定义一个随机变量 $X$ 表示掷出的点数，即 $X(\omega) = \omega$。这样，我们就可以用数值来描述掷骰子的结果了。

随机变量可以分为离散型和连续型两种类型。离散型随机变量取值为有限个或可数无限个；连续型随机变量取值为某个区间上的所有实数。

我们发现，我们前面给出的Borel集的定义是为了确保随机变量是可测函数。

可测函数： 随机变量被定义为在Borel集上的可测函数，这意味着对于任意的Borel集 $B$，保证了$\{\omega| X(\omega) \in B\} \in \mathcal{F}$，从而使得$P(X\in B)$总是存在概率。如果$X$不可测，那么累计分布函数可能无法定义、期望（$\int X \mathrm{d}P$）可能不可积。

1.3.2 概率分布

累计分布函数

定义了随机变量之后，我们可以考虑其累计分布函数（CDF）和概率分布。累计分布函数 $F(x)$ 定义为 $F(x) = P(X \le x)$，它描述了随机变量 $X$ 取值小于或等于 $x$ 的概率。

累计分布函数具有以下基本性质：

1. 单调不减性：若 $x_1 < x_2$，则 $F(x_1) \le F(x_2)$。
2. 右连续性：$\lim_{x \to x_0^+} F(x) = F(x_0)$。
3. 极限性质：$\lim_{x \to -\infty} F(x) = 0$，$\lim_{x \to +\infty} F(x) = 1$。

这些性质使得累计分布函数成为描述随机变量行为的强大工具。通过CDF，我们可以计算任意区间内的概率：$P(a < X \le b) = F(b) - F(a)$。

概率质量函数和概率密度函数

随机变量的概率分布描述了随机变量取不同值的概率情况。对于离散型随机变量，我们用概率质量函数（PMF）来描述其分布；对于连续型随机变量，我们用概率密度函数（PDF）来描述其分布。

离散型随机变量的概率质量函数： 对于离散型随机变量 $X$，其概率质量函数 $p(x)$ 定义为 $p(x) = P(X = x)$，满足 $\sum_{x} p(x) = 1$。

连续型随机变量的概率密度函数： 对于连续型随机变量 $X$，其概率密度函数 $f(x)$ 定义为满足 $P(a \le X \le b) = \int_a^b f(x) \mathrm{d}x$ 的函数，且满足 $\int_{-\infty}^{\infty} f(x) \mathrm{d}x = 1$。

注： 注意区分概率密度函数与概率测度——$P:\mathcal{F} \to [0,1]$，而 $f: \mathbb{R} \to [0, \infty)$ 是一个函数，它不是概率测度，但可以通过积分得到概率测度。

对于连续型随机变量，需要注意 $P(X = x) = 0$ 对任意单点成立，这与离散型情况有本质区别。概率密度函数 $f(x)$ 在某点的值并不代表概率，而是概率的”密度”，只有经过积分后才能得到实际概率。

1.3.3 常见的离散分布

离散型随机变量在实际应用中非常常见，下面介绍几种重要的离散分布。

伯努利分布（Bernoulli Distribution）

伯努利分布是最简单的离散分布，描述只有两种可能结果的随机试验。

定义：若随机变量 $X$ 只取 0 和 1 两个值，且 $P(X=1) = p$，$P(X=0) = 1-p$，其中 $0 \le p \le 1$，则称 $X$ 服从参数为 $p$ 的伯努利分布，记为 $X \sim \text{Bernoulli}(p)$。

伯努利分布的期望和方差分别为：$E[X] = p$，$\text{Var}(X) = p(1-p)$。

例子：抛一枚硬币，正面朝上记为 1，反面朝上记为 0。若硬币公平，则 $p = 0.5$，服从伯努利分布。

二项分布（Binomial Distribution）

二项描述 $n$ 次独立伯努利试验中成功次数的分布。

定义：设 $X$ 为 $n$ 次独立伯努利试验中成功的次数，每次成功概率为 $p$，则 $X$ 的概率质量函数为： $P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0, 1, \ldots, n$ 称 $X$ 服从参数为 $(n, p)$ 的二项分布，记为 $X \sim \text{Binomial}(n, p)$。

二项分布的期望和方差：$E[X] = np$，$\text{Var}(X) = np(1-p)$。

例子：连续抛掷 10 枚公平硬币，正面朝上的次数服从 $\text{Binomial}(10, 0.5)$ 分布。

泊松分布（Poisson Distribution）

泊松分布常用于描述单位时间或单位空间内随机事件发生次数的分布。

定义：若随机变量 $X$ 的概率质量函数为： $P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots$ 其中 $\lambda > 0$ 为参数，则称 $X$ 服从参数为 $\lambda$ 的泊松分布，记为 $X \sim \text{Poisson}(\lambda)$。

泊松分布的期望和方差相等：$E[X] = \text{Var}(X) = \lambda$。

泊松分布与二项分布的关系：当 $n$ 很大且 $p$ 很小时，二项分布 $\text{Binomial}(n, p)$ 可以用泊松分布 $\text{Poisson}(np)$ 近似。具体来说，若 $n \to \infty$，$p \to 0$，且 $np \to \lambda$，则： $\binom{n}{k} p^k (1-p)^{n-k} \approx \frac{\lambda^k e^{-\lambda}}{k!}$

例子：某客服中心每小时平均接到 4 通电话，则一小时内接到的电话数服从 $\text{Poisson}(4)$ 分布。

几何分布（Geometric Distribution）

几何分布描述在独立伯努利试验中首次成功所需的试验次数。

定义：设 $X$ 为首次成功所需的试验次数，每次成功概率为 $p$，则： $P(X = k) = (1-p)^{k-1} p, \quad k = 1, 2, \ldots$ 称 $X$ 服从参数为 $p$ 的几何分布，记为 $X \sim \text{Geometric}(p)$。

几何分布具有无记忆性：$P(X > m + n | X > m) = P(X > n)$。

期望和方差：$E[X] = \frac{1}{p}$，$\text{Var}(X) = \frac{1-p}{p^2}$。

负二项分布（Negative Binomial Distribution）

负二项分布是几何分布的推广，描述获得 $r$ 次成功所需的试验次数。

定义：设 $X$ 为获得 $r$ 次成功所需的试验次数，则： $P(X = k) = \binom{k-1}{r-1} p^r (1-p)^{k-r}, \quad k = r, r+1, \ldots$

当 $r = 1$ 时，负二项分布退化为几何分布。

1.3.4 常见的连续分布

连续型随机变量在实际应用中同样重要，下面介绍几种核心的连续分布。

均匀分布（Uniform Distribution）

均匀分布描述在区间内每个点等可能取值的随机变量。

定义：若随机变量 $X$ 在区间 $[a, b]$ 上的概率密度函数为： $f(x) = \begin{cases} \frac{1}{b-a}, & a \le x \le b \\ 0, & \text{其他} \end{cases}$ 则称 $X$ 服从 $[a, b]$ 上的均匀分布，记为 $X \sim \text{Uniform}(a, b)$。

均匀分布的期望和方差：$E[X] = \frac{a+b}{2}$，$\text{Var}(X) = \frac{(b-a)^2}{12}$。

例子：在 $[0, 1]$ 区间随机取一点，该点的坐标服从 $\text{Uniform}(0, 1)$ 分布。

正态分布（Normal/Gaussian Distribution）

正态分布是概率论中最重要的分布，在自然界和社会现象中广泛存在。

定义：若随机变量 $X$ 的概率密度函数为： $f(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right), \quad -\infty < x < +\infty$ 其中 $\mu \in \mathbb{R}$，$\sigma > 0$，则称 $X$ 服从参数为 $(\mu, \sigma^2)$ 的正态分布，记为 $X \sim N(\mu, \sigma^2)$。

正态分布的期望和方差：$E[X] = \mu$，$\text{Var}(X) = \sigma^2$。

标准正态分布：当 $\mu = 0$，$\sigma = 1$ 时，称为标准正态分布，记为 $Z \sim N(0, 1)$。其概率密度函数为： $\phi(z) = \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}}$ 任何正态分布都可以通过标准化变换转化为标准正态分布：若 $X \sim N(\mu, \sigma^2)$，则 $Z = \frac{X-\mu}{\sigma} \sim N(0, 1)$。

例子：人的身高、测量误差、考试成绩等往往近似服从正态分布。

指数分布（Exponential Distribution）

指数分布常用于描述独立随机事件发生的时间间隔。

定义：若随机变量 $X$ 的概率密度函数为： $f(x) = \begin{cases} \lambda e^{-\lambda x}, & x \ge 0 \\ 0, & x < 0 \end{cases}$ 其中 $\lambda > 0$，则称 $X$ 服从参数为 $\lambda$ 的指数分布，记为 $X \sim \text{Exp}(\lambda)$。

指数分布的期望和方差：$E[X] = \frac{1}{\lambda}$，$\text{Var}(X) = \frac{1}{\lambda^2}$。

无记忆性：指数分布与几何分布类似，具有无记忆性： $P(X > s + t | X > s) = P(X > t), \quad \forall s, t > 0$ 这使得指数分布在可靠性理论和排队论中有重要应用。

与泊松分布的关系：若单位时间内某事件发生的次数服从泊松分布，则事件发生的间隔时间服从指数分布。

伽马分布（Gamma Distribution）

伽马分布是指数分布的推广，描述多个独立指数分布随机变量之和的分布。

定义：若随机变量 $X$ 的概率密度函数为： $f(x) = \begin{cases} \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, & x > 0 \\ 0, & x \le 0 \end{cases}$ 其中 $\alpha > 0$ 为形状参数，$\lambda > 0$ 为率参数，$\Gamma(\alpha)$ 为伽马函数，则称 $X$ 服从伽马分布，记为 $X \sim \Gamma(\alpha, \lambda)$。

伽马函数：$\Gamma(\alpha) = \int_0^\infty t^{\alpha-1} e^{-t} \mathrm{d}t$，满足 $\Gamma(n) = (n-1)!$（当 $n$ 为正整数）。

伽马分布的期望和方差：$E[X] = \frac{\alpha}{\lambda}$，$\text{Var}(X) = \frac{\alpha}{\lambda^2}$。

当 $\alpha = 1$ 时，伽马分布退化为指数分布。

卡方分布（Chi-Square Distribution）

卡方分布是伽马分布的特例，在统计推断中非常重要。

定义：若 $Z_1, Z_2, \ldots, Z_n$ 是独立同分布的标准正态随机变量，则： $X = Z_1^2 + Z_2^2 + \cdots + Z_n^2$ 服从自由度为 $n$ 的卡方分布，记为 $X \sim \chi^2(n)$。

卡方分布是 $\Gamma(\frac{n}{2}, \frac{1}{2})$ 的特例。其期望和方差：$E[X] = n$，$\text{Var}(X) = 2n$。

$t$ 分布（Student’s t-Distribution）

$t$ 分布在小样本统计推断中具有重要作用。

定义：设 $Z \sim N(0, 1)$，$U \sim \chi^2(n)$，且 $Z$ 与 $U$ 独立，则： $T = \frac{Z}{\sqrt{U/n}}$ 服从自由度为 $n$ 的 $t$ 分布，记为 $T \sim t(n)$。

$t$ 分布的概率密度函数为： $f(t) = \frac{\Gamma(\frac{n+1}{2})}{\sqrt{n\pi} \Gamma(\frac{n}{2})} \left(1 + \frac{t^2}{n}\right)^{-\frac{n+1}{2}}$

当 $n \to \infty$ 时，$t$ 分布趋近于标准正态分布。

$F$ 分布（F-Distribution）

$F$ 分布在方差分析和回归分析中广泛应用。

定义：设 $U \sim \chi^2(m)$，$V \sim \chi^2(n)$，且 $U$ 与 $V$ 独立，则： $F = \frac{U/m}{V/n}$ 服从自由度为 $(m, n)$ 的 $F$ 分布，记为 $F \sim F(m, n)$。

$F$ 分布与 $t$ 分布的关系：若 $T \sim t(n)$，则 $T^2 \sim F(1, n)$。

1.4 期望、方差、协方差与矩

数字特征是描述随机变量分布特性的重要指标，它们提供了分布的简洁概括。

1.4.1 期望

期望（或均值）是随机变量取值的加权平均，权重为相应的概率。

定义：设 $X$ 为随机变量：

• 若 $X$ 为离散型，$P(X = x_i) = p_i$，则 $E[X] = \sum_i x_i p_i$（要求 $\sum_i |x_i| p_i < \infty$）。
• 若 $X$ 为连续型，概率密度函数为 $f(x)$，则 $E[X] = \int_{-\infty}^{\infty} x f(x) \mathrm{d}x$（要求 $\int_{-\infty}^{\infty} |x| f(x) \mathrm{d}x < \infty$）。

期望具有以下重要性质：

1. 线性性：$E[aX + b] = aE[X] + b$，其中 $a, b$ 为常数。
2. 可加性：$E[X + Y] = E[X] + E[Y]$，无论 $X$ 与 $Y$ 是否独立。
3. 独立性下的乘积性：若 $X$ 与 $Y$ 独立，则 $E[XY] = E[X]E[Y]$。

函数的期望（ LOTUS 法则）：设 $Y = g(X)$，则：

• 离散型：$E[Y] = \sum_i g(x_i) p_i$
• 连续型：$E[Y] = \int_{-\infty}^{\infty} g(x) f(x) \mathrm{d}x$ 无需先求 $Y$ 的分布，直接利用 $X$ 的分布即可计算。

1.4.2 方差

方差度量随机变量取值与其期望的偏离程度。

定义：随机变量 $X$ 的方差定义为： $\text{Var}(X) = E[(X - E[X])^2] = E[X^2] - (E[X])^2$ 标准差定义为 $\sigma_X = \sqrt{\text{Var}(X)}$。

方差的性质：

1. $\text{Var}(X) \ge 0$，且 $\text{Var}(X) = 0$ 当且仅当 $X$ 以概率 1 取常数值。
2. $\text{Var}(aX + b) = a^2 \text{Var}(X)$。
3. 若 $X$ 与 $Y$ 独立，则 $\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y)$。

切比雪夫不等式：对于任意 $\varepsilon > 0$，有： $P(|X - E[X]| \ge \varepsilon) \le \frac{\text{Var}(X)}{\varepsilon^2}$ 这个不等式给出了偏离均值的概率上界，在证明大数定律中有重要应用。

1.4.3 协方差与相关系数

协方差度量两个随机变量之间的线性关联程度。

定义：随机变量 $X$ 和 $Y$ 的协方差定义为： $\text{Cov}(X, Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X]E[Y]$

协方差的性质：

1. 对称性：$\text{Cov}(X, Y) = \text{Cov}(Y, X)$。
2. 双线性：$\text{Cov}(aX + b, cY + d) = ac \cdot \text{Cov}(X, Y)$。
3. 若 $X$ 与 $Y$ 独立，则 $\text{Cov}(X, Y) = 0$（但反之不成立）。
4. 方差公式：$\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X, Y)$。

相关系数是标准化后的协方差，消除了量纲的影响。

定义：$X$ 和 $Y$ 的相关系数定义为： $\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}$ 其中 $\sigma_X = \sqrt{\text{Var}(X)}$，$\sigma_Y = \sqrt{\text{Var}(Y)}$。

相关系数的性质：

1. $-1 \le \rho_{XY} \le 1$。
2. $|\rho_{XY}| = 1$ 当且仅当 $X$ 与 $Y$ 之间存在线性关系：$Y = aX + b$（几乎必然）。
3. $\rho_{XY} = 0$ 表示 $X$ 与 $Y$ 不相关（无线性相关），但可能有非线性关系。

注意：独立一定不相关，但不相关不一定独立。例如，设 $X \sim \text{Uniform}(-1, 1)$，$Y = X^2$，则 $\text{Cov}(X, Y) = 0$，但 $X$ 与 $Y$ 显然不独立。

1.4.4 矩

矩是期望概念的推广，可以描述分布的更多特征。

定义：随机变量 $X$ 的 $k$ 阶原点矩定义为 $\mu_k' = E[X^k]$，$k$ 阶中心矩定义为 $\mu_k = E[(X - E[X])^k]$。

特别地：

• 一阶原点矩 $\mu_1' = E[X]$ 就是期望。
• 二阶中心矩 $\mu_2 = \text{Var}(X)$ 就是方差。

偏度（Skewness）：三阶标准化矩，度量分布的不对称性： $\gamma_1 = \frac{\mu_3}{\sigma^3} = \frac{E[(X - \mu)^3]}{(\text{Var}(X))^{3/2}}$

• $\gamma_1 = 0$：对称分布（如正态分布）。
• $\gamma_1 > 0$：右偏（长尾在右）。
• $\gamma_1 < 0$：左偏（长尾在左）。

峰度（Kurtosis）：四阶标准化矩，度量分布的尾部厚重程度： $\gamma_2 = \frac{\mu_4}{\sigma^4} - 3 = \frac{E[(X - \mu)^4]}{(\text{Var}(X))^2} - 3$ 减去 3 是为了使正态分布的峰度为 0（超值峰度）。

• $\gamma_2 > 0$：比正态分布更尖峰厚尾。
• $\gamma_2 < 0$：比正态分布更平峰薄尾。

1.5 多维随机变量与联合分布

在实际问题中，我们经常需要同时考虑多个随机变量，这就引入了多维随机变量的概念。

1.5.1 多维随机变量

定义：设 $X_1, X_2, \ldots, X_n$ 是定义在同一样本空间 $\Omega$ 上的 $n$ 个随机变量，则称向量 $\mathbf{X} = (X_1, X_2, \ldots, X_n)$ 为 $n$ 维随机向量或 $n$ 维随机变量。

多维随机变量的研究重点在于描述各分量之间的相互关系，这通过联合分布来实现。

1.5.2 联合分布

联合累计分布函数

定义：$n$ 维随机变量 $\mathbf{X} = (X_1, \ldots, X_n)$ 的联合累计分布函数定义为： $F(x_1, \ldots, x_n) = P(X_1 \le x_1, \ldots, X_n \le x_n)$

对于二维情况 $(X, Y)$，联合CDF $F(x, y) = P(X \le x, Y \le y)$ 具有以下性质：

1. $0 \le F(x, y) \le 1$。
2. $F(x, y)$ 对每个变量都是单调不减的。
3. $F(-\infty, y) = F(x, -\infty) = 0$，$F(+\infty, +\infty) = 1$。
4. 对任意 $x_1 < x_2$，$y_1 < y_2$，有： $P(x_1 < X \le x_2, y_1 < Y \le y_2) = F(x_2, y_2) - F(x_2, y_1) - F(x_1, y_2) + F(x_1, y_1) \ge 0$

联合概率质量函数与联合概率密度函数

对于离散型随机变量：

联合PMF：$p(x, y) = P(X = x, Y = y)$，满足 $\sum_x \sum_y p(x, y) = 1$。

对于连续型随机变量：

联合PDF：函数 $f(x, y)$ 满足： $P((X, Y) \in D) = \iint_D f(x, y) \mathrm{d}x \mathrm{d}y$ 且 $f(x, y) \ge 0$，$\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f(x, y) \mathrm{d}x \mathrm{d}y = 1$。

在点 $(x, y)$ 处，联合PDF可以看作概率的”面密度”： $f(x, y) = \frac{\partial^2 F(x, y)}{\partial x \partial y}$

独立性

定义：随机变量 $X$ 和 $Y$ 独立，当且仅当：

• 离散型：$p(x, y) = p_X(x) \cdot p_Y(y)$ 对所有 $(x, y)$ 成立。
• 连续型：$f(x, y) = f_X(x) \cdot f_Y(y)$ 对所有 $(x, y)$ 成立。
• 统一表述：$F(x, y) = F_X(x) \cdot F_Y(y)$ 对所有 $x, y$ 成立。

独立性意味着一个随机变量的取值不影响另一个随机变量的分布。对于独立随机变量，有 $E[XY] = E[X]E[Y]$，$\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y)$。

1.5.3 边缘分布与条件分布

边缘分布

从联合分布可以得到单个随机变量的分布，称为边缘分布。

离散型边缘PMF： $p_X(x) = \sum_y p(x, y), \quad p_Y(y) = \sum_x p(x, y)$

连续型边缘PDF： $f_X(x) = \int_{-\infty}^{\infty} f(x, y) \mathrm{d}y, \quad f_Y(y) = \int_{-\infty}^{\infty} f(x, y) \mathrm{d}x$

边缘分布描述了单个随机变量的分布特性，但丢失了与其他变量的关系信息。

条件分布

条件分布描述在给定一个随机变量取值的条件下，另一个随机变量的分布。

离散型条件PMF： $p_{X|Y}(x|y) = P(X = x | Y = y) = \frac{p(x, y)}{p_Y(y)}, \quad p_Y(y) > 0$

连续型条件PDF： $f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)}, \quad f_Y(y) > 0$

条件分布满足概率分布的所有性质。例如，对于连续型： $P(a \le X \le b | Y = y) = \int_a^b f_{X|Y}(x|y) \mathrm{d}x$

乘法公式：

• 离散型：$p(x, y) = p_{X|Y}(x|y) \cdot p_Y(y) = p_{Y|X}(y|x) \cdot p_X(x)$
• 连续型：$f(x, y) = f_{X|Y}(x|y) \cdot f_Y(y) = f_{Y|X}(y|x) \cdot f_X(x)$

这给出了联合分布、边缘分布和条件分布之间的关系。

条件期望与全期望公式

条件期望：给定 $Y = y$ 时，$X$ 的条件期望为：

• 离散型：$E[X | Y = y] = \sum_x x \cdot p_{X|Y}(x|y)$
• 连续型：$E[X | Y = y] = \int_{-\infty}^{\infty} x \cdot f_{X|Y}(x|y) \mathrm{d}x$

条件期望 $E[X | Y]$ 本身是 $Y$ 的函数，也是一个随机变量。

全期望公式（迭代期望法则）： $E[X] = E[E[X | Y]]$ 具体地：

• 离散型：$E[X] = \sum_y E[X | Y = y] \cdot p_Y(y)$
• 连续型：$E[X] = \int_{-\infty}^{\infty} E[X | Y = y] \cdot f_Y(y) \mathrm{d}y$

全期望公式在计算复杂期望时非常有用，可以先固定一个变量进行条件期望计算，再对该变量求期望。

1.5.4 多维正态分布

多维正态分布是单变量正态分布在多维情形的推广，在统计学和机器学习中具有核心地位。

定义：设 $\boldsymbol{\mu} = (\mu_1, \ldots, \mu_n)^T \in \mathbb{R}^n$，$\boldsymbol{\Sigma}$ 为 $n \times n$ 正定对称矩阵。若随机向量 $\mathbf{X} = (X_1, \ldots, X_n)^T$ 的联合概率密度函数为： $f(\mathbf{x}) = \frac{1}{(2\pi)^{n/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)$ 则称 $\mathbf{X}$ 服从 $n$ 维正态分布，记为 $\mathbf{X} \sim N_n(\boldsymbol{\mu}, \boldsymbol{\Sigma})$。

其中 $\boldsymbol{\mu}$ 是均值向量，$\boldsymbol{\Sigma}$ 是协方差矩阵： $\boldsymbol{\Sigma} = \begin{pmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{n1} & \sigma_{n2} & \cdots & \sigma_{nn} \end{pmatrix}$ 其中 $\sigma_{ij} = \text{Cov}(X_i, X_j)$，$\sigma_{ii} = \text{Var}(X_i) = \sigma_i^2$。