概率论与数理统计 (Part 2): 数理统计

这是 概率论与数理统计 系列的第二期。

2 数理统计

数理统计的基本概念

总体

定义：总体（Population）是研究对象的全体，个体（Individual）是总体中的每一个成员。总体可以看作一个随机变量 $X$，其分布称为总体分布。

在实际问题中，总体可以是：

• 有限总体：总体中个体数目有限（如某班级的全体学生）
• 无限总体：总体中个体数目无限（如某连续生产过程中的所有产品）

样本

定义：从总体中按一定规则抽取的 $n$ 个个体称为样本（Sample），$n$ 称为样本容量。若 $X_1, X_2, \ldots, X_n$ 独立同分布于总体 $X$，则称 $(X_1, X_2, \ldots, X_n)$ 为来自总体 $X$ 的简单随机样本。

简单随机样本的性质：

• 独立性：$X_1, X_2, \ldots, X_n$ 相互独立
• 同分布性：每个 $X_i$ 都与总体 $X$ 服从相同的分布

样本的观测值记为 $(x_1, x_2, \ldots, x_n)$，是样本的一个具体实现。

样本分布

常用统计量

定义：统计量（Statistic）是样本的函数 $T = T(X_1, X_2, \ldots, X_n)$，且不依赖于任何未知参数。由于样本是随机变量，统计量也是随机变量。

常见的统计量包括：

样本均值：$\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$

样本方差：$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$

样本标准差：$S = \sqrt{S^2} = \sqrt{\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2}$

样本 $k$ 阶原点矩：$A_k = \frac{1}{n}\sum_{i=1}^n X_i^k, \quad k = 1, 2, \ldots$

样本 $k$ 阶中心矩：$B_k = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^k, \quad k = 2, 3, \ldots$

统计量在推断中的作用：统计量浓缩了样本中的信息，是连接样本与总体的桥梁。通过统计量的分布（抽样分布），我们可以对总体进行推断。

2.3 统计推断概述

统计推断是数理统计的核心内容，它研究如何根据样本数据对总体的特征进行推断和决策。

2.3.1 统计推断的定义与目的

定义：统计推断（Statistical Inference）是指根据从总体中抽取的样本数据，对总体的分布、参数或特征进行估计、预测和决策的过程。

统计推断的主要目的包括：

• 认识总体：通过样本了解总体的分布特征和数量规律
• 估计参数：估计总体分布中的未知参数
• 检验假设：验证关于总体的某种假设是否成立
• 预测未来：基于已有数据对未来观测值进行预测

例子：某工厂生产一批零件，想知道这批零件的平均长度。由于无法测量所有零件（总体），我们随机抽取100个零件（样本）测量其长度，然后根据样本数据推断整批零件的平均长度。这就是一个典型的统计推断问题。

2.3.2 统计推断的两大分支

统计推断主要分为参数估计和假设检验两大分支。

参数估计

定义：参数估计（Parameter Estimation）是根据样本数据估计总体分布中的未知参数。

参数估计分为两类：

• 点估计：给出参数的一个具体数值估计
• 区间估计：给出参数的一个置信区间，表示参数以一定概率落入该区间

例子：估计某城市居民的平均收入。点估计可能给出”月平均收入为8000元”；区间估计可能给出”月平均收入的95%置信区间为[7500, 8500]元”。

假设检验

定义：假设检验（Hypothesis Testing）是根据样本数据对关于总体的某种假设进行判断，决定接受或拒绝该假设。

假设检验的基本步骤：

1. 建立原假设 $H_0$ 和备择假设 $H_1$
2. 选择适当的检验统计量
3. 确定显著性水平 $\alpha$
4. 根据样本计算检验统计量的值
5. 做出拒绝或接受原假设的决策

例子：某药厂声称其新药的有效率为90%。我们抽取100名患者试用该药，发现其中80人有效。通过假设检验，我们可以判断”有效率90%“这一说法是否可信。

2.3.3 统计推断的基本思想

统计推断遵循”部分推断总体”的基本思想，其核心依据是大数定律和中心极限定理：

• 大数定律：当样本容量足够大时，样本均值依概率收敛于总体期望，即 $\bar{X} \overset{P}{\to} E[X]$
• 中心极限定理：当 $n$ 充分大时，$\frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \overset{d}{\to} N(0, 1)$

这些极限定理为统计推断提供了理论基础，使得我们可以用样本统计量来推断总体参数。

2.4 $t$-分布的详细讨论

$t$-分布（Student’s t-distribution）是统计推断中最重要的分布之一，在小样本推断中具有核心地位。本节在第1章的基础上，对 $t$-分布进行更深入的讨论。

2.4.1 $t$-分布的定义回顾

定义：设 $Z \sim N(0, 1)$，$U \sim \chi^2(n)$，且 $Z$ 与 $U$ 相互独立，则随机变量 $T = \frac{Z}{\sqrt{U/n}}$ 服从自由度为 $n$ 的 $t$-分布，记为 $T \sim t(n)$。

这个定义表明，$t$-分布是标准正态分布与卡方分布（经过适当标准化）之比。正是这种构造方式，使得 $t$-分布在小样本情况下比正态分布更加适用。

2.4.2 $t$-分布的概率密度函数

定理：设 $T \sim t(n)$，则其概率密度函数为 $f(t) = \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi} \cdot \Gamma\left(\frac{n}{2}\right)} \left(1 + \frac{t^2}{n}\right)^{-\frac{n+1}{2}}, \quad -\infty < t < +\infty$

推导思路：

利用随机变量商的分布公式。设 $Z \sim N(0, 1)$，$V = \sqrt{U/n}$，则 $T = Z/V$。

由于 $U \sim \chi^2(n)$，则 $V^2 = U/n$ 的分布可以通过变换得到。结合 $Z$ 与 $U$ 的独立性，经过积分运算可得上述密度函数。

其中 $\Gamma(\cdot)$ 是伽马函数，满足 $\Gamma(n) = (n-1)!$（当 $n$ 为正整数时）。

2.4.3 $t$-分布的性质

对称性

性质1（对称性）：$t$-分布的概率密度函数 $f(t)$ 关于 $t = 0$ 对称，即 $f(-t) = f(t)$。因此，若 $T \sim t(n)$，则 $-T \sim t(n)$。

这意味着 $t$-分布的期望（当存在时）为零，且分布呈钟形，与标准正态分布类似。

尾部特性

性质2（厚尾性）：$t$-分布比标准正态分布具有更厚的尾部。即对于充分大的 $|t|$，$t$-分布的密度函数值大于标准正态分布的密度函数值。

厚尾性意味着 $t$-分布比正态分布更容易产生极端值。这是因为 $t$-分布的定义中，分母 $\sqrt{U/n}$ 本身也是随机变量，增加了整体的变异性。

渐近正态性

性质3（渐近正态性）：当自由度 $n \to \infty$ 时，$t$-分布趋近于标准正态分布，即 $\lim_{n \to \infty} f(t) = \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} = \phi(t)$

证明：利用斯特林公式近似伽马函数，当 $n \to \infty$ 时： $\frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi} \cdot \Gamma\left(\frac{n}{2}\right)} \to \frac{1}{\sqrt{2\pi}}$ $\left(1 + \frac{t^2}{n}\right)^{-\frac{n+1}{2}} \to e^{-\frac{t^2}{2}}$

因此，当自由度足够大时（通常 $n > 30$），可以用标准正态分布近似 $t$-分布。

数字特征

性质4（期望与方差）：设 $T \sim t(n)$，则

• 当 $n > 1$ 时，$E[T] = 0$
• 当 $n > 2$ 时，$\text{Var}(T) = \frac{n}{n-2}$

注意，当 $n \le 1$ 时期望不存在，当 $n \le 2$ 时方差不存在。这与 $t$-分布的厚尾特性有关——自由度较小时，尾部衰减较慢，导致高阶矩可能不存在。

2.4.4 $t$-分布与样本均值的关系

$t$-分布在统计推断中最重要的应用与样本均值密切相关。

定理：设 $X_1, X_2, \ldots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的简单随机样本，$\bar{X}$ 为样本均值，$S^2$ 为样本方差，则 $\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$

证明：

已知 $\bar{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right)$，因此 $Z = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)$

又知 $(n-1)S^2/\sigma^2 \sim \chi^2(n-1)$，且 $\bar{X}$ 与 $S^2$ 独立。

因此 $\frac{\bar{X} - \mu}{S/\sqrt{n}} = \frac{(\bar{X} - \mu)/(\sigma/\sqrt{n})}{\sqrt{\frac{(n-1)S^2}{\sigma^2}/(n-1)}} = \frac{Z}{\sqrt{U/(n-1)}}$

其中 $Z \sim N(0, 1)$，$U \sim \chi^2(n-1)$，且 $Z$ 与 $U$ 独立。根据 $t$-分布的定义，该比值服从 $t(n-1)$。

注意：这个定理的重要性在于，当总体方差 $\sigma^2$ 未知时，我们不能使用 $\frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0,1)$ 进行推断，而必须用样本标准差 $S$ 代替 $\sigma$，此时统计量服从 $t$-分布而非正态分布。

2.4.5 $t$-分布的应用场景

$t$-分布主要应用于以下场景：

小样本均值推断

场景1：单样本 $t$ 检验

当总体服从正态分布、方差未知、样本容量较小（通常 $n < 30$）时，对总体均值进行推断需要使用 $t$-分布。

场景2：两样本 $t$ 检验

比较两个正态总体均值是否相等时，若方差未知但相等，检验统计量也服从 $t$-分布。

置信区间估计

例子：从正态总体中抽取容量为 $n = 16$ 的样本，测得样本均值 $\bar{x} = 20$，样本标准差 $s = 4$。求总体均值 $\mu$ 的95%置信区间。

解：由于 $\sigma$ 未知且 $n$ 较小，使用 $t$-分布。查表得 $t_{0.025}(15) = 2.131$，则置信区间为 $\bar{x} \pm t_{0.025}(15) \cdot \frac{s}{\sqrt{n}} = 20 \pm 2.131 \times \frac{4}{4} = 20 \pm 2.131$ 即 $[17.869, 22.131]$。

2.4.6 $t$-分布的上 $\alpha$ 分位数

定义：设 $T \sim t(n)$，对于给定的 $\alpha \in (0, 1)$，称满足 $P(T > t_\alpha(n)) = \alpha$ 的数 $t_\alpha(n)$ 为 $t$-分布的上 $\alpha$ 分位数（或上侧分位数）。

上 $\alpha$ 分位数的性质：

性质：由于 $t$-分布的对称性，有 $t_{1-\alpha}(n) = -t_\alpha(n)$

常用分位数值：

最后一行（$n = \infty$）对应标准正态分布的分位数，体现了 $t$-分布向正态分布的收敛。

例子：查 $t$ 分布表，$t_{0.05}(10) = 1.812$，$t_{0.95}(10) = -1.812$。这意味着若 $T \sim t(10)$，则 $P(T > 1.812) = 0.05$，$P(T < -1.812) = 0.05$。

2.5 F-分布

F-分布是数理统计中最重要的抽样分布之一，在方差分析、回归分析和两个正态总体方差比的假设检验中有广泛应用。本节将对F-分布进行详细的讨论。

2.5.1 F-分布的定义

在第1章中，我们简要介绍了F-分布的定义。现在回顾并深入探讨：

定义：设随机变量 $U \sim \chi^2(m)$，$V \sim \chi^2(n)$，且 $U$ 与 $V$ 相互独立，则称随机变量 $F = \frac{U/m}{V/n}$ 服从自由度为 $(m, n)$ 的F-分布，记为 $F \sim F(m, n)$。其中 $m$ 称为第一自由度（分子自由度），$n$ 称为第二自由度（分母自由度）。

F-分布的定义基于两个独立的卡方分布随机变量的比值。由于卡方分布描述的是标准正态随机变量平方和的分布，F-分布自然地出现在涉及方差比值的统计问题中。

2.5.2 F-分布的概率密度函数

F-分布的概率密度函数具有较为复杂的形式，但可以通过变量变换从卡方分布推导得到。

定理：设 $F \sim F(m, n)$，则其概率密度函数为： $f(x) = \begin{cases} \displaystyle\frac{\Gamma\left(\frac{m+n}{2}\right)}{\Gamma\left(\frac{m}{2}\right)\Gamma\left(\frac{n}{2}\right)} \left(\frac{m}{n}\right)^{\frac{m}{2}} x^{\frac{m}{2}-1} \left(1 + \frac{m}{n}x\right)^{-\frac{m+n}{2}}, & x > 0 \\[10pt] 0, & x \leq 0 \end{cases}$

证明思路：

设 $U \sim \chi^2(m)$，$V \sim \chi^2(n)$，且独立。已知卡方分布的密度函数为： $f_U(u) = \frac{1}{2^{m/2}\Gamma(m/2)} u^{\frac{m}{2}-1} e^{-\frac{u}{2}}, \quad u > 0$

令 $X = \frac{U}{m}$，$Y = \frac{V}{n}$，则 $F = \frac{X}{Y}$。通过变量变换和积分，可以得到F-分布的密度函数。

F-分布的密度函数形状取决于两个自由度 $(m, n)$。当 $m$ 和 $n$ 都较小时，分布高度右偏；随着自由度的增加，分布逐渐趋于对称。

2.5.3 F-分布的基本性质

F-分布具有以下重要性质：

1. 非负性

由于F-分布定义为两个非负卡方随机变量（除以各自自由度）的比值，因此：

性质：若 $F \sim F(m, n)$，则 $P(F > 0) = 1$，即F-分布的支撑集为 $(0, +\infty)$。

2. 右偏分布

F-分布是一种右偏（正偏）分布，其偏度取决于自由度。

性质：F-分布的偏度为： $\gamma_1 = \frac{(2m + n - 2)\sqrt{8(n-4)}}{(n-6)\sqrt{m(m+n-2)}}, \quad n > 6$ 可见当 $n > 6$ 时，偏度恒为正，说明F-分布具有右偏特性。

F-分布的期望和方差分别为： $E[F] = \frac{n}{n-2}, \quad n > 2$ $\text{Var}(F) = \frac{2n^2(m+n-2)}{m(n-2)^2(n-4)}, \quad n > 4$

3. 倒数性质

F-分布具有一个重要的对称性质：

定理：若 $X \sim F(m, n)$，则 $\displaystyle\frac{1}{X} \sim F(n, m)$。

证明：由定义，$X = \frac{U/m}{V/n}$，其中 $U \sim \chi^2(m)$，$V \sim \chi^2(n)$。则： $\frac{1}{X} = \frac{V/n}{U/m} \sim F(n, m)$

这个性质在查表计算分位数时非常有用，因为F-分布表通常只提供上侧分位数。

4. F-分布与t-分布的关系

F-分布与t-分布之间存在密切联系：

定理：若 $T \sim t(n)$，则 $T^2 \sim F(1, n)$。

证明：回顾t-分布的定义，$T = \frac{Z}{\sqrt{V/n}}$，其中 $Z \sim N(0,1)$，$V \sim \chi^2(n)$，且 $Z$ 与 $V$ 独立。则： $T^2 = \frac{Z^2}{V/n}$ 由于 $Z^2 \sim \chi^2(1)$，根据F-分布的定义，$T^2 \sim F(1, n)$。

这个关系解释了为什么双侧t检验与F检验在某些情况下等价。

例子：考虑一个单样本t检验问题，检验 $H_0: \mu = \mu_0$ vs $H_1: \mu \neq \mu_0$。检验统计量为 $t = \frac{\bar{X} - \mu_0}{S/\sqrt{n}}$。若将检验改为 $H_0: \mu = \mu_0$ vs $H_1: \mu \neq \mu_0$ 使用 $t^2$，则 $t^2$ 服从 $F(1, n-1)$ 分布。这说明双侧t检验等价于一个特殊的F检验。

2.5.4 F-分布与样本方差比

F-分布在比较两个正态总体方差时自然出现，这是其最重要的应用场景之一。

定理：设 $X_1, X_2, \ldots, X_m$ 是来自总体 $N(\mu_1, \sigma_1^2)$ 的简单随机样本，$Y_1, Y_2, \ldots, Y_n$ 是来自总体 $N(\mu_2, \sigma_2^2)$ 的简单随机样本，且两样本相互独立。设样本方差分别为： $S_1^2 = \frac{1}{m-1}\sum_{i=1}^m (X_i - \bar{X})^2, \quad S_2^2 = \frac{1}{n-1}\sum_{i=1}^n (Y_i - \bar{Y})^2$ 则： $\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(m-1, n-1)$

证明：由抽样分布理论，我们知道： $\frac{(m-1)S_1^2}{\sigma_1^2} \sim \chi^2(m-1), \quad \frac{(n-1)S_2^2}{\sigma_2^2} \sim \chi^2(n-1)$ 且两者独立。因此： $\frac{\frac{(m-1)S_1^2}{\sigma_1^2}/(m-1)}{\frac{(n-1)S_2^2}{\sigma_2^2}/(n-1)} = \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(m-1, n-1)$

推论：当 $\sigma_1^2 = \sigma_2^2$ 时，有 $\displaystyle\frac{S_1^2}{S_2^2} \sim F(m-1, n-1)$。

这个结果是两个正态总体方差齐性检验的理论基础。

例子：某工厂有两条生产线生产同一种零件。从第一条生产线抽取16个零件，测得样本方差 $s_1^2 = 0.0042$；从第二条生产线抽取21个零件，测得样本方差 $s_2^2 = 0.0018$。假设零件尺寸服从正态分布，检验两条生产线的方差是否有显著差异（$\alpha = 0.05$）。

解：建立假设 $H_0: \sigma_1^2 = \sigma_2^2$ vs $H_1: \sigma_1^2 \neq \sigma_2^2$。检验统计量为 $F = \frac{S_1^2}{S_2^2} \sim F(15, 20)$（在 $H_0$ 下）。

计算得 $f = \frac{0.0042}{0.0018} = 2.33$。

查F分布表得 $F_{0.025}(15, 20) = 2.57$，$F_{0.975}(15, 20) = \frac{1}{F_{0.025}(20, 15)} = \frac{1}{2.76} = 0.36$。

由于 $0.36 < 2.33 < 2.57$，不能拒绝 $H_0$，认为两条生产线的方差没有显著差异。

2.5.5 F-分布的上$\alpha$分位数

F-分布的上$\alpha$分位数是统计推断中常用的临界值。

定义：设 $F \sim F(m, n)$，对于给定的 $\alpha \in (0, 1)$，称满足 $P(F > F_\alpha(m, n)) = \alpha$ 的数值 $F_\alpha(m, n)$ 为F-分布的上$\alpha$分位数（或临界值）。

F-分布分位数具有以下重要性质：

性质：$F_{1-\alpha}(m, n) = \displaystyle\frac{1}{F_\alpha(n, m)}$

证明：设 $X \sim F(m, n)$，则 $\frac{1}{X} \sim F(n, m)$。由定义： $P\left(X > F_{1-\alpha}(m, n)\right) = 1-\alpha$ 等价于： $P\left(X \leq F_{1-\alpha}(m, n)\right) = \alpha$ 即： $P\left(\frac{1}{X} \geq \frac{1}{F_{1-\alpha}(m, n)}\right) = \alpha$ 由于 $\frac{1}{X} \sim F(n, m)$，上式意味着 $\frac{1}{F_{1-\alpha}(m, n)} = F_\alpha(n, m)$，即得证。

这个性质非常重要，因为F-分布表通常只给出较小$\alpha$值（如0.10, 0.05, 0.025, 0.01）的上侧分位数，利用上述性质可以求得较大$\alpha$值（如0.90, 0.95, 0.975, 0.99）对应的分位数。

例子：已知 $F_{0.05}(10, 15) = 2.54$，求 $F_{0.95}(15, 10)$。

解：利用性质： $F_{0.95}(15, 10) = \frac{1}{F_{0.05}(10, 15)} = \frac{1}{2.54} \approx 0.394$

2.5.6 F-分布在方差分析中的应用

方差分析（Analysis of Variance, ANOVA）是F-分布最重要的应用之一，用于检验多个总体均值是否相等。

单因素方差分析模型：设因素有 $k$ 个水平，第 $i$ 个水平下有 $n_i$ 个观测值 $X_{ij} \sim N(\mu_i, \sigma^2)$，$j = 1, 2, \ldots, n_i$。检验假设： $H_0: \mu_1 = \mu_2 = \cdots = \mu_k \quad \text{vs} \quad H_1: \text{至少有两个均值不相等}$

方差分析的基本思想是将总变异分解为组间变异和组内变异：

总平方和（SST）： $SST = \sum_{i=1}^k \sum_{j=1}^{n_i} (X_{ij} - \bar{X})^2$

组间平方和（SSB，处理平方和）： $SSB = \sum_{i=1}^k n_i (\bar{X}_i - \bar{X})^2$

组内平方和（SSW，误差平方和）： $SSW = \sum_{i=1}^k \sum_{j=1}^{n_i} (X_{ij} - \bar{X}_i)^2$

其中 $\bar{X}_i$ 是第 $i$ 组的样本均值，$\bar{X}$ 是总样本均值。有分解式：$SST = SSB + SSW$。

F统计量：在 $H_0$ 成立时， $F = \frac{SSB/(k-1)}{SSW/(N-k)} = \frac{MSB}{MSW} \sim F(k-1, N-k)$ 其中 $N = \sum_{i=1}^k n_i$，$MSB$ 和 $MSW$ 分别称为组间均方和组内均方。

直观解释：

• 若 $H_0$ 成立，组间变异和组内变异都应仅由随机误差引起，$F$ 值应接近1。
• 若 $H_0$ 不成立，组间变异还会包含处理效应，$F$ 值将显著大于1。

因此，当 $F > F_\alpha(k-1, N-k)$ 时，拒绝原假设，认为各组均值之间存在显著差异。

例子：某农业实验比较三种肥料对作物产量的影响，每种肥料施用5块试验田，测得产量数据（单位：kg）如下：

• 肥料A：65, 68, 70, 66, 67
• 肥料B：72, 75, 71, 74, 73
• 肥料C：68, 70, 69, 71, 70

进行方差分析（$\alpha = 0.05$）：

计算得：$\bar{x}_A = 67.2$，$\bar{x}_B = 73.0$，$\bar{x}_C = 69.6$，$\bar{x} = 69.93$

$SSB = 5[(67.2-69.93)^2 + (73.0-69.93)^2 + (69.6-69.93)^2] = 5[7.45 + 9.42 + 0.11] = 84.9$

$SSW = \sum\sum (x_{ij} - \bar{x}_i)^2 = 14.8 + 10.0 + 5.2 = 30.0$

$F = \frac{84.9/2}{30.0/12} = \frac{42.45}{2.5} = 16.98$

查表得 $F_{0.05}(2, 12) = 3.89$。

由于 $16.98 > 3.89$，拒绝 $H_0$，认为三种肥料对作物产量的影响存在显著差异。

方差分析是F-分布最典型的应用，体现了F统计量在比较不同来源变异时的核心作用。在多因素方差分析、协方差分析和回归分析中，F-分布同样扮演着不可或缺的角色。

小结：F-分布作为两个独立卡方分布（标准化后）的比值，是统计推断中比较方差和检验多组均值差异的核心工具。其非负性、右偏性、倒数性质和与t-分布的关系构成了理论基础，而在方差分析中的应用则展现了其强大的实用价值。掌握F-分布的性质和应用，是理解现代统计方法的关键一步。

2.6 参数估计

在实际问题中，总体的分布类型往往已知，但其中包含的未知参数需要通过样本数据进行估计。参数估计就是根据样本信息来估计总体分布中未知参数的方法，主要分为点估计和区间估计两大类。

2.6.1 点估计

点估计是用一个具体的数值（统计量的观测值）来估计总体未知参数的方法。

定义：设总体 $X$ 的分布函数为 $F(x; \theta)$，其中 $\theta$ 是未知参数（可以是向量）。从总体中抽取样本 $X_1, X_2, \ldots, X_n$，构造统计量 $\hat{\theta} = \hat{\theta}(X_1, X_2, \ldots, X_n)$，用其观测值作为 $\theta$ 的估计值，称为 $\theta$ 的点估计。统计量 $\hat{\theta}$ 称为估计量，其观测值称为估计值。

常用的点估计方法主要有矩估计法和最大似然估计法。

矩估计法

矩估计法的基本思想是用样本矩估计相应的总体矩，通过建立矩的方程来求解未知参数。

基本思想：设总体 $X$ 的前 $k$ 阶矩存在，记 $\mu_j = E[X^j]$ 为总体的 $j$ 阶原点矩，$M_j = \frac{1}{n}\sum_{i=1}^n X_i^j$ 为样本的 $j$ 阶原点矩。令总体矩等于相应的样本矩，建立方程组求解参数。

矩估计法的求解步骤如下：

1. 计算总体的前 $k$ 阶矩 $\mu_j = E[X^j]$（$j = 1, 2, \ldots, k$），它们通常是参数 $\theta_1, \theta_2, \ldots, \theta_k$ 的函数。
2. 令总体矩等于样本矩：$\mu_j = M_j$（$j = 1, 2, \ldots, k$），得到 $k$ 个方程。
3. 解这 $k$ 个方程，得到参数估计量 $\hat{\theta}_1, \hat{\theta}_2, \ldots, \hat{\theta}_k$。

例子：设 $X_1, X_2, \ldots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，求 $\mu$ 和 $\sigma^2$ 的矩估计量。

解：正态总体的一阶原点矩和二阶原点矩分别为： $\mu_1 = E[X] = \mu$ $\mu_2 = E[X^2] = \text{Var}(X) + (E[X])^2 = \sigma^2 + \mu^2$

令总体矩等于样本矩： $\begin{cases} \mu = \bar{X} \\ \sigma^2 + \mu^2 = \frac{1}{n}\sum_{i=1}^n X_i^2 \end{cases}$

解得： $\hat{\mu} = \bar{X}$ $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n X_i^2 - \bar{X}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$

注意：这里 $\hat{\sigma}^2$ 与样本方差 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 略有不同。

最大似然估计法

最大似然估计法是基于”已发生的事件应该有较大的概率”这一直观想法，寻找使观测样本出现概率最大的参数值。

定义（似然函数）：设总体 $X$ 的概率密度函数（连续型）或概率质量函数（离散型）为 $f(x; \theta)$，其中 $\theta \in \Theta$ 为未知参数。$X_1, X_2, \ldots, X_n$ 是来自总体的样本，观测值为 $x_1, x_2, \ldots, x_n$。定义似然函数为： $L(\theta) = L(\theta; x_1, x_2, \ldots, x_n) = \prod_{i=1}^n f(x_i; \theta)$ 若 $\hat{\theta}$ 满足 $L(\hat{\theta}) = \max_{\theta \in \Theta} L(\theta)$，则称 $\hat{\theta}$ 为 $\theta$ 的最大似然估计值，相应的统计量 $\hat{\theta}(X_1, X_2, \ldots, X_n)$ 为最大似然估计量。

由于乘积形式求导不便，通常使用对数似然函数：

对数似然函数： $\ell(\theta) = \ln L(\theta) = \sum_{i=1}^n \ln f(x_i; \theta)$ 由于对数函数是单调递增的，$L(\theta)$ 与 $\ell(\theta)$ 在同一处取得最大值。

最大似然估计的求解步骤：

1. 写出似然函数 $L(\theta)$ 和对数似然函数 $\ell(\theta)$。
2. 对 $\ell(\theta)$ 关于 $\theta$ 求导，令导数等于零，得到似然方程（组）。
3. 解似然方程（组），验证所得解使似然函数达到最大。

例子：设 $X_1, X_2, \ldots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，求 $\mu$ 和 $\sigma^2$ 的最大似然估计。

解：似然函数为： $L(\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) = (2\pi\sigma^2)^{-\frac{n}{2}} \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2\right)$

对数似然函数为： $\ell(\mu, \sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2$

分别对 $\mu$ 和 $\sigma^2$ 求偏导并令其为零： $\frac{\partial \ell}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^n (x_i - \mu) = 0$ $\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2}\sum_{i=1}^n (x_i - \mu)^2 = 0$

由第一个方程解得 $\hat{\mu} = \bar{x} = \frac{1}{n}\sum_{i=1}^n x_i$。

将 $\hat{\mu}$ 代入第二个方程，解得： $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2$

可以验证这确实是最大值点。因此，正态总体参数的最大似然估计为 $\hat{\mu} = \bar{X}$，$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$。

例子：设 $X_1, X_2, \ldots, X_n$ 是来自泊松分布 $\text{Poisson}(\lambda)$ 的样本，求 $\lambda$ 的最大似然估计。

解：泊松分布的概率质量函数为 $P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}$，$k = 0, 1, 2, \ldots$。

似然函数为： $L(\lambda) = \prod_{i=1}^n \frac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum_{i=1}^n x_i} e^{-n\lambda}}{\prod_{i=1}^n x_i!}$

对数似然函数为： $\ell(\lambda) = \sum_{i=1}^n x_i \cdot \ln \lambda - n\lambda - \sum_{i=1}^n \ln(x_i!)$

对 $\lambda$ 求导并令其为零： $\frac{d\ell}{d\lambda} = \frac{\sum_{i=1}^n x_i}{\lambda} - n = 0$

解得： $\hat{\lambda} = \frac{1}{n}\sum_{i=1}^n x_i = \bar{x}$

因此，泊松分布参数的最大似然估计为样本均值 $\hat{\lambda} = \bar{X}$。

点估计的优良性准则

不同的估计方法可能得到不同的估计量，需要评价估计量的优劣。常用的评价标准包括无偏性、有效性和一致性。

定义（无偏性）：设 $\hat{\theta}$ 是参数 $\theta$ 的估计量，若 $E[\hat{\theta}] = \theta$ 对所有 $\theta \in \Theta$ 成立，则称 $\hat{\theta}$ 是 $\theta$ 的无偏估计量。

无偏性要求估计量在多次重复抽样下的平均值等于被估计参数的真值，即没有系统性偏差。

例子：样本均值 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 是总体均值 $\mu$ 的无偏估计，因为 $E[\bar{X}] = \mu$。

样本方差 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 是总体方差 $\sigma^2$ 的无偏估计，而 $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ 是有偏估计。

定义（有效性）：设 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 都是 $\theta$ 的无偏估计量，若对任意 $\theta \in \Theta$，有 $\text{Var}(\hat{\theta}_1) \le \text{Var}(\hat{\theta}_2)$，且至少对一个 $\theta$ 严格不等，则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 有效。

有效性反映了估计量的波动程度，方差越小，估计值越集中在真值附近，估计越精确。

定义（一致性）：设 $\hat{\theta}_n = \hat{\theta}_n(X_1, X_2, \ldots, X_n)$ 是基于样本量为 $n$ 的估计量序列，若对任意 $\varepsilon > 0$，有： $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| \ge \varepsilon) = 0$ 即 $\hat{\theta}_n \overset{P}{\to} \theta$，则称 $\hat{\theta}_n$ 是 $\theta$ 的一致估计量。

一致性要求当样本量增大时，估计值依概率收敛于参数真值。由大数定律，样本均值是总体均值的一致估计。

2.6.2 区间估计

点估计给出参数的一个具体估计值，但无法反映估计的精度。区间估计则给出一个包含参数真值的区间，并给出该区间包含真值的可靠程度。

定义（区间估计）：设总体 $X$ 的分布含有未知参数 $\theta$，$X_1, X_2, \ldots, X_n$ 是来自总体的样本。构造两个统计量 $\hat{\theta}_L = \hat{\theta}_L(X_1, X_2, \ldots, X_n)$ 和 $\hat{\theta}_U = \hat{\theta}_U(X_1, X_2, \ldots, X_n)$，且满足 $\hat{\theta}_L \le \hat{\theta}_U$。对给定的样本观测值，区间 $(\hat{\theta}_L, \hat{\theta}_U)$ 称为参数 $\theta$ 的一个区间估计。

定义（置信区间）：设 $\alpha \in (0, 1)$ 是一个给定的较小的数（通常取 0.05 或 0.01），若统计量 $\hat{\theta}_L$ 和 $\hat{\theta}_U$ 满足： $P(\hat{\theta}_L \le \theta \le \hat{\theta}_U) = 1 - \alpha$ 则称随机区间 $[\hat{\theta}_L, \hat{\theta}_U]$ 为参数 $\theta$ 的置信水平为 $1 - \alpha$ 的置信区间，$\hat{\theta}_L$ 和 $\hat{\theta}_U$ 分别称为置信下限和置信上限。

置信水平 $1 - \alpha$ 的含义：在重复抽样的情况下，构造的大量置信区间中，大约有 $(1 - \alpha) \times 100\%$ 的区间包含参数真值，约有 $\alpha \times 100\%$ 的区间不包含真值。例如，$1 - \alpha = 0.95$ 表示在 100 次抽样中，大约有 95 个区间包含真值。

正态总体均值的区间估计

设 $X_1, X_2, \ldots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，样本均值为 $\bar{X}$，样本方差为 $S^2$。

情形一：方差 $\sigma^2$ 已知

由抽样分布理论，$\bar{X} \sim N(\mu, \sigma^2/n)$，标准化后得： $Z = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)$

对于给定的置信水平 $1 - \alpha$，查标准正态分布表得临界值 $z_{\alpha/2}$，满足 $P(|Z| \le z_{\alpha/2}) = 1 - \alpha$。

于是： $P\left(-z_{\alpha/2} \le \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \le z_{\alpha/2}\right) = 1 - \alpha$

整理得 $\mu$ 的置信区间： $\left[\bar{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}}, \quad \bar{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right]$

例子：从正态总体中抽取容量为 25 的样本，样本均值 $\bar{x} = 10$，已知总体方差 $\sigma^2 = 16$。求 $\mu$ 的 95% 置信区间。

解：$\alpha = 0.05$，$z_{0.025} = 1.96$，$\sigma = 4$，$n = 25$。

置信区间为： $\left[10 - 1.96 \times \frac{4}{5}, \quad 10 + 1.96 \times \frac{4}{5}\right] = [8.432, \quad 11.568]$

情形二：方差 $\sigma^2$ 未知

当 $\sigma^2$ 未知时，用样本方差 $S^2$ 代替，构造 $t$ 统计量： $T = \frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$

对于给定的置信水平 $1 - \alpha$，查 $t$ 分布表得临界值 $t_{\alpha/2}(n-1)$，满足 $P(|T| \le t_{\alpha/2}(n-1)) = 1 - \alpha$。

于是 $\mu$ 的置信区间为： $\left[\bar{X} - t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \quad \bar{X} + t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}\right]$

正态总体方差的区间估计

设总体 $X \sim N(\mu, \sigma^2)$，$\mu$ 和 $\sigma^2$ 均未知。利用卡方分布构造置信区间： $\chi^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$

对于给定的置信水平 $1 - \alpha$，查 $\chi^2$ 分布表得临界值 $\chi^2_{1-\alpha/2}(n-1)$ 和 $\chi^2_{\alpha/2}(n-1)$，满足： $P\left(\chi^2_{1-\alpha/2}(n-1) \le \frac{(n-1)S^2}{\sigma^2} \le \chi^2_{\alpha/2}(n-1)\right) = 1 - \alpha$

于是 $\sigma^2$ 的置信区间为： $\left[\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}, \quad \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right]$

注：由于 $\chi^2$ 分布不对称，两个临界值不是关于原点对称的，置信区间也不是关于 $S^2$ 对称的。

两个正态总体均值差的区间估计

设 $X_1, X_2, \ldots, X_{n_1}$ 来自 $N(\mu_1, \sigma_1^2)$，$Y_1, Y_2, \ldots, Y_{n_2}$ 来自 $N(\mu_2, \sigma_2^2)$，两样本独立。

情形一：两总体方差已知

由于 $\bar{X} - \bar{Y} \sim N(\mu_1 - \mu_2, \frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2})$，则： $Z = \frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}} \sim N(0, 1)$

$\mu_1 - \mu_2$ 的置信水平为 $1 - \alpha$ 的置信区间为： $\left[(\bar{X} - \bar{Y}) - z_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}, \quad (\bar{X} - \bar{Y}) + z_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}\right]$