假设检验与经典统计检验-2

Lecture 8 · 生态统计学

李勤

2026-11-23

学习目标

  1. 两个分类变量之间是否有关联?
  2. 一个总体的均值是否达到参考值?
  3. 两个总体的均值是否相同?

从数据类型和实验设计出发,进行假设检验、解读结果并报告结论。

回顾假设检验

回顾:假设检验的基本步骤

  1. 明确研究对象、样本单位、目标总体和待估参数
  2. 提出假设(H0H_0 与 HAH_A),预先确定单侧或双侧及显著性水平 α\alpha
  3. 检查数据适用条件并计算检验统计量
  4. 根据零分布得到 P 值并判断显著性
  • 在 H0H_0 和检验所需条件成立时,统计量为观测值或更极端的概率
  • “更极端”由备择假设和检验统计量定义
  1. 报告效应估计及其不确定性,得出结论并回到科学问题

回顾:二项检验

蟾蜍有前肢偏好吗?18 只蟾蜍中,14 只偏好右前肢。

H0:pright=0.5,HA:pright≠0.5H_0:p_{\mathrm{right}}=0.5,\qquad H_A:p_{\mathrm{right}}\ne0.5

toad <- binom.test(14, 18, p = 0.5)
round(c(proportion = unname(toad$estimate), p = toad$p.value), 3)
proportion          p 
     0.778      0.031 
round(toad$conf.int, 3)
[1] 0.524 0.936
attr(,"conf.level")
[1] 0.95

偏好比例的估计值约为 78%。结合双侧检验的 PP 值和置信区间判断证据。

回顾:卡方拟合优度检验

新人儿的出生日期的频数与每周该天在一年中出现的次数成比例吗?

H0H_0 下四类概率都为 0.25,故每类的期望频数 Ei=np0i=25E_i=np_{0i}=25。

# 观察频数
birth <- c(14,26,34,21,27,38,20)
# 期望概率
p0 <- c(52,52,52,52,52,53,53)/366
#卡方检验
birth_fit <- chisq.test(birth,p=p0)
birth_fit

    Chi-squared test for given probabilities

data:  birth
X-squared = 16, df = 6, p-value = 0.01

三种分类数据问题

数据类型 问什么? R代码
一个分类变量(两个类别) 事件比例是否等于 p0p_0? binom.test()
一个分类变量(多个类别) 类别频数是否符合给定概率? chisq.test(x, p = ...)
两个分类变量(的关联) 一个变量的类别分布是否独立于另一个变量? chisq.test(table)

分类变量间的独立性检验

分类变量间的相关性

两个分类变量

  • 鲜艳和暗淡的蝴蝶被吃掉的概率不同吗?

  • 吸烟者喝酒的概率比不吸烟者高多少?

  • 每天服用阿司匹林的人心脏病发作的概率更低吗?

分类变量

分类变量间的相关性

  • 泰坦尼克号沉没事故(1912.4.14)
    • 幸存 vs. 死亡;男性 vs. 女性

沉船事故

分类变量间的相关性

  • 泰坦尼克号沉没事故(1912.4.14)
    • 幸存 vs. 死亡;男性 vs. 女性

沉船事故

分类变量间的相关性:2 × 2 列联表

如何读一张 2 × 2 表?

示例:泰坦尼克号沉没事故

性别 死亡 存活 合计
男 a=1329a=1329 b=338b=338 1667
女 c=109c=109 d=316d=316 425
  • 男性的死亡比例为 1329/1667=0.7971329/1667=0.797
  • 女性的死亡比例为 109/425=0.257109/425=0.257

分类变量间的相关性:2 × 2 列联表

相对风险 RR:表示事件概率(Relative Risk)

  • RR=1RR=1 对应相同风险
  • 这里以 B 为参照(用组内总数作分母)

RR=a/(a+b)c/(c+d)=0.7970.257=3.10RR=\frac{a/(a+b)}{c/(c+d)}=\frac{0.797}{0.257}=3.10

  • 男性的死亡比例是女性的 3.1 倍

分类变量间的相关性:2 × 2 列联表

比值比 OR(优势比)(Odds Ratio)

  • 概率为 pp 时,比值(odds)为 p/(1−p)p/(1-p)
  • OR=1OR=1 对应相同比值

OR=a/bc/d=adbc=1329/338109/316=11.40OR=\frac{a/b}{c/d}=\frac{ad}{bc}=\frac{1329/338}{109/316}=11.40

  • 男性的死亡比值是女性的 11.4 倍
  • 两组事件都罕见时,OR 与 RR 接近

分类变量间的相关性:2 × 2 列联表

  • 相对风险RR和比值比OR都是对关联性程度的估计
  • 其标准误和置信区间的计算可参考:

RR-OR

分类变量间的相关性:R × C 列联表

一种吸虫的三个寄主:感染等级与捕食情况

  • 共计141 条鱼,三种感染等级的实验处理
  • 记录是否被鸟捕食的结果
捕食结果 无感染 轻感染 重感染 合计
被捕食 1 10 37 48
未被捕食 49 35 9 93
合计 50 45 46 141

分类变量

R × C 列联表的独立性检验

变量间独立性假设

  • H0H_0:感染等级与捕食结果相互独立,即三个感染等级的总体捕食概率相同。
  • HAH_A:感染等级与捕食结果有关联,即至少两个等级的总体捕食概率不同。

如果 H0H_0 成立,各列应有怎样的捕食比例?

  • 列内比例的观察数据:1/501/50、10/4510/45、37/4637/46

R × C 列联表的独立性检验

期望频数

  • H0H_0 成立下两组变量之间是独立的 (Pr[A & B] = Pr[A] × Pr[B])
捕食结果 无感染 轻感染 重感染 合计
被捕食 ? ? ? 48
未被捕食 ? ? ? 93
合计 50 45 46 141
  • 在独立性假设下,联合概率是两个边际概率的乘积,从而计算期望频数

Eij=N(ni+N)(n+jN)=ni+n+jNE_{ij}=N\left(\frac{n_{i+}}N\right)\left(\frac{n_{+j}}N\right) =\frac{n_{i+}n_{+j}}{N}

R × C 列联表的独立性检验

期望频数

  • H0H_0 成立下两组变量之间是独立的 (Pr[A & B] = Pr[A] × Pr[B])
  • 因此,我们可以从边际概率得到期望频数
捕食结果 无感染 轻感染 重感染 合计
被捕食 141×50141×48141141 \times \dfrac{50}{141} \times \dfrac{48}{141} ? ? 48
未被捕食 ? ? ? 93
合计 50 45 46 141

R × C 列联表的独立性检验

期望频数

  • H0H_0 成立下两组变量之间是独立的 (Pr[A & B] = Pr[A] × Pr[B])
  • 因此,我们可以从边际概率得到期望频数
捕食结果 无感染 轻感染 重感染 合计
被捕食 141×50141×48141141 \times \dfrac{50}{141} \times \dfrac{48}{141} 141×45141×48141141 \times \dfrac{45}{141} \times \dfrac{48}{141} 141×46141×48141141 \times \dfrac{46}{141} \times \dfrac{48}{141} 48
未被捕食 141×50141×93141141 \times \dfrac{50}{141} \times \dfrac{93}{141} 141×45141×93141141 \times \dfrac{45}{141} \times \dfrac{93}{141} 141×46141×93141141 \times \dfrac{46}{141} \times \dfrac{93}{141} 93
合计 50 45 46 141

R × C 列联表的独立性检验

期望频数

  • 用行合计和列合计,便可构建独立性零模型的整张表
  • 期望表和观测表的边际合计一致
  • 拟合优度检验的期望来自预先给定的类别概率,本例的期望来自估计的边际比例
捕食结果 无感染 轻感染 重感染 合计
被捕食 17.0 15.3 15.7 48
未被捕食 33.0 29.7 30.3 93
合计 50 45 46 141

R × C 列联表的独立性检验

卡方检验:汇总每格的偏离

  • Pearson 卡方公式

χ2=∑i=1R∑j=1C(Oij−Eij)2Eij\chi^2=\sum_{i=1}^{R}\sum_{j=1}^{C}\frac{(O_{ij}-E_{ij})^2}{E_{ij}}

捕食结果 无感染 轻感染 重感染 合计
被捕食 1 / 17.0 10 / 15.3 37 / 15.7 48
未被捕食 49 / 33.0 35 / 29.7 9 / 30.3 93
合计 50 45 46 141

χ2=(1−17.0)217.0+(10−15.3)215.3+...=69.5\chi^2=\frac{(1-17.0)^2}{17.0} + \frac{(10-15.3)^2}{15.3} + ... = 69.5

R × C 列联表的独立性检验

卡方检验:汇总每格的偏离

χ2=(1−17.0)217.0+(10−15.3)215.3+...=69.5\chi^2=\frac{(1-17.0)^2}{17.0} + \frac{(10-15.3)^2}{15.3} + ... = 69.5

  • 每格贡献均为非负值
  • χ2\chi^2 大,说明整张表偏离独立性模型较多
  • 统计量抹去了偏离方向,需要回到比例或残差

R × C 列联表的独立性检验

卡方检验:自由度与右尾 P 值

  • df=(R−1)(C−1)=(2−1)(3−1)=2df = (R-1)(C-1)=(2-1)(3-1)=2
    • 给定行列合计,任取第一行的前两个格子,其余四格便由合计确定。
  • PP 是参考卡方分布中大于等于观测 χ2\chi^2 的右尾面积
    • 临界值:χdf=2,α=0.052=5.99\chi^2_{df=2, \alpha = 0.05} = 5.99

chi-df2

R × C 列联表的独立性检验

  • 用 R 建表并检查期望频数
fish_data = data.frame(uninfected = c(1,49),
                       lightly_infected = c(10,35),
                       highly_infected = c(37,9))
row.names(fish_data) = c("eaten","not_eaten")
addmargins(as.matrix(fish_data))
          uninfected lightly_infected highly_infected Sum
eaten              1               10              37  48
not_eaten         49               35               9  93
Sum               50               45              46 141
# 通过卡方检验的命令来获取期望频数
fish_fit <- chisq.test(fish_data, correct = FALSE)
round(fish_fit$expected, 2)
          uninfected lightly_infected highly_infected
eaten          17.02            15.32           15.66
not_eaten      32.98            29.68           30.34

R × C 列联表的独立性检验

  • 用 R 进行独立性检验 chisq.test(table)
fish_data = data.frame(uninfected = c(1,49),
                       lightly_infected = c(10,35),
                       highly_infected = c(37,9))
row.names(fish_data) = c("eaten","not_eaten")
fish_fit <- chisq.test(fish_data, correct = FALSE)
fish_fit

    Pearson's Chi-squared test

data:  fish_data
X-squared = 70, df = 2, p-value = 7e-16

R × C 列联表的独立性检验

  • 用 R 复核卡方统计量与 P 值
expected <- fish_fit$expected
contrib <- (fish_data - expected)^2 / expected
round(contrib, 2)
          uninfected lightly_infected highly_infected
eaten          15.08             1.85           29.08
not_eaten       7.78             0.95           15.01
x2 <- sum(contrib)
df <- (nrow(fish_data) - 1) * (ncol(fish_data) - 1)
c(X2 = x2, df = df, p = pchisq(x2, df, lower.tail = FALSE))
       X2        df         p 
6.976e+01 2.000e+00 7.124e-16 
  • chisq.test中的 correct = FALSE 对应这里的 Pearson 卡方公式
  • 连续性校正选项 correct = TRUE 只在 2 × 2 表用卡方分布近似计算 P 值时起作用

R × C 列联表的独立性检验

进一步:说明方向与效应

# 计算三组各自的被捕食比例
round(100 * prop.table(as.matrix(fish_data), margin = 2)["eaten", ], 1)
      uninfected lightly_infected  highly_infected 
             2.0             22.2             80.4 
round(fish_fit$stdres, 2)
          uninfected lightly_infected highly_infected
eaten          -5.95            -2.03            8.09
not_eaten       5.95             2.03           -8.09
  • 样本中,无、轻、重感染鱼的被捕食比例为 2.0%、22.2%、80.4%。
  • 标准化残差为正表示该格多于独立性模型预期,负值表示少于预期。

总体检验提供关联证据。若进一步逐对比较,需要考虑多重检验。

R × C 列联表的独立性检验

马赛克图:观察频数与期望频数

  • 黄色为未被捕食,红色为被捕食;
  • 独立性零假设下,三组的期望捕食比例均为 48/141=34.0%48/141=34.0\%,因此右图的黄/红分界线在 93/141≈0.6693/141\approx0.66 处。

R × C 列联表的独立性检验

基于列联表的卡方检验 —— 吸虫对宿主的影响

    1. 零假设和备择假设
    • H0H_0: 鱼被寄生虫感染与被鸟捕食之间是相互独立的
    • HAH_A: 鱼被寄生虫感染与被鸟捕食之间不是相互独立的
    1. 计算检验统计量: χobs2=69.76\chi^2_{obs} = 69.76
    1. 确定P值:P < 0.05
    1. 结论
    • 统计学结论:拒绝 H0H_0,说明两者之间不是相互独立的;被捕食比例从无感染组的 2.0% 上升到重感染组的 80.4%;
    • 生物学结论:(最可能的解释是)吸虫改变了鱼类的行为或阻碍了它们逃跑的能力,增加了它们被鸟类吃掉的概率,从而完成了生活史的最后一次寄主的转移。

R × C 列联表的独立性检验:卡方近似的前提条件

  1. 单元格记录互斥类别的频数;
  2. 观测之间应独立;
  3. 期望频数宜足够大——经验规则为各格 E≥1E\ge1,且 E<5E<5 的格子不超过 20%;

如若不满足前提条件 - 合并某些类别(注意自由度的改变) - Fisher’s exact test (Fisher精确检验) - Permutation test

分类变量间的相关性: 2 × 2 表的Fisher 精确检验

示例:2 × 2 表中数据不满足列联表的卡方检验的前提

观察频数

结果 A B
发生X事件 15 6
未发生X事件 7 322

期望频数

结果 A B
发生 X 事件 1.3 19.7
未发生 X 事件 20.7 308.3

分类变量间的相关性: 2 × 2 表的Fisher 精确检验

Fisher 检验怎样计算 P 值?

  • 列出 H0H_0 成立下与观察结果一样或更极端的2×2 列联表
    • 行和列的总计都不变( H0H_0 假设的独立性)
    • 改变其中一个格子的数值(更极端), 并调整其它个字的值以匹配总计

Fisher table

分类变量间的相关性: 2 × 2 表的Fisher 精确检验

  • 用 R 做 Fisher Exact Test
sparse <- rbind(Event = c(A = 15, B = 6),
                No_event = c(A = 7, B = 322))
fisher.test(sparse)

    Fisher's Exact Test for Count Data

data:  sparse
p-value <2e-16
alternative hypothesis: true odds ratio is not equal to 1
95 percent confidence interval:
  29.95 457.27
sample estimates:
odds ratio 
     108.4 

关于总体均值的推断:tt 检验

生物学中的数值变量

  • 松树上的球果数量
  • 燕子的速度
  • 从感染到出现症状的时间
  • 婴儿的身长和体重

正态分布是许多生物变量频数分布的良好近似

回顾正态分布

正态分布(normal distribution)是一类对称、钟形的连续概率分布。若随机变量 XX 服从均值为 μ\mu、方差为 σ2\sigma^2 的正态分布,记作:

X∼N(μ,σ2)X\sim N(\mu,\sigma^2)

其中:

  • μ\mu 决定分布的中心位置;σ\sigma 决定分布的离散程度
  • 概率由曲线下的面积表示,整条曲线下的面积为 1
  • 概率密度公式:

f(X)=1σ2πexp⁡[−12(X−μσ)2] f(X)=\frac{1}{\sigma\sqrt{2\pi}} \exp\left[-\frac{1}{2} \left(\frac{X-\mu}{\sigma}\right)^2\right]

回顾正态分布

两个参数怎样改变正态分布?

  • dnorm(x, mean = ?, sd = ?)

回顾正态分布

正态分布的特征

  • 关于 μ\mu 对称,均值 = 中位数 = 众数
  • μ±σ\mu\pm\sigma、μ±2σ\mu\pm2\sigma、μ±3σ\mu\pm3\sigma 内分别约有 68%、95%、99.7% 的概率

回顾正态分布

正态分布的标准化

  • 标准化: Z=(X−μ)σ∼N(0,1)Z= \frac{(X-\mu)}{\sigma} \sim N(0,1)

  • 该公式将具有均值 μ\mu 和标准差 σ\sigma 的正态分布的 XX 转换为具有标准正态分布的 ZZ

  • 这个标准化的 ZZ 值称为标准正态偏差

    • 对于所有正态分布来说(包括标准正态分布),获得与均值相差 ZZ 个标准差的观测值的概率是相同的

正态分布与均值检验

  • 当总体本身是正态分布时,样本均值的抽样分布就是正态分布;
  • 中心极限定理:只要样本量足够大,样本均值 X‾\bar{X} 的抽样分布就近似正态分布;
  • 那么,可以利用“X‾\bar{X} 的抽样分布为正态分布”这一事实,来计算总体均值的置信区间,并计算针对均值的检验假设的 P 值;
  • 样本均值的抽样分布的标准差:

σX‾=σn\sigma_{\bar{X}} = \frac{\sigma}{\sqrt{n}}

  • 样本均值 X‾\bar{X} 的标准正态转换:

Z=X‾−μσX‾Z = \frac{\bar{X} - \mu}{\sigma_{\bar{X}}}

均值检验:先辨认观测设计

科学问题 数据结构 检验
总体均值是否等于某个固定参考值? 一组连续测量 单样本 tt 检验
两个总体均值是否相同? 两组独立观测 双样本 tt 检验
同一单元前后测量是否平均有变化? 同一单元两次测量或有意义的配对 配对 tt 检验

tt 统计量在衡量什么?

  • 对样本均值 X‾\bar{X} 进行标准正态转换时,σX‾\sigma_{\bar{X}} 通常是未知的;

  • 所以,我们进而参考 tt 分布;

  • 其统计量 tt 为: t=X‾−μSEX‾,其中,SEX‾=s/nt = \frac{\bar{X} - \mu}{SE_{\bar{X}}}, \qquad 其中, SE_{\bar{X}} = s/\sqrt n

  • 样本均值的估计标准误 SEX‾SE_{\bar{X}} 衡量估计量在重复抽样中的波动;

  • tt 的符号指示偏离方向,绝对值反映偏离了多少个标准误;

Student’s tt 中的 “Student” 是威廉·西利·戈塞特(William Sealy Gosset)的笔名。他在都柏林的吉尼斯(Guinness)啤酒公司工作,因研究酿造中的实际问题而开展统计研究,并于 1908 年以“Student”署名发表了关于小样本均值推断的重要论文。为保护商业信息,公司要求他使用笔名,并避免公开公司数据。

tt 统计量在衡量什么?

  • 虽然 tt 的计算公式与 ZZ 相似,但重要的区别在于该统计量的抽样分布不是正态分布;
    • 用样本标准差 ss 估计未知的总体标准差,会引入额外的不确定性;
  • 自由度为 𝑑𝑓=𝑛−1𝑑𝑓 = 𝑛 − 1,因为计算了样本的 ss;
  • 自由度小,tt 分布尾部更厚/宽;自由度增大时,tt 分布接近标准正态 ZZ。

tt 统计量在衡量什么?

tt 分布与均值的 95% 置信区间

  • df=4df = 4 的 tt 分布见右图(n=5)
    • 95%的面积在区间 [-2.78, 2.78] 之间;
    • 即,从符合正态分布的总体中获得重复随机样本(n=5),那么 95% 的样本得到的均值将在真实的总体均值(μ\mu)两侧的2.78个估计标准误范围内;
    • 而 ZZ 分布的95%的面积在[-1.96, 1.96]区间内;
  • 相比而言,tt 分布的取值范围更大,这是因为标准误估计的不确定性。

tt 统计量在衡量什么?

tt 分布与均值的 95% 置信区间

  • 𝑑𝑓 = 4 的 𝑡 分布见右图(n=5)
  • 总体均值的 95% 置信区间

t0.05(2),df<X‾−μSEX‾<t0.05(2),dfSEX‾ t_{0.05(2),df} < \frac{\bar{X} - \mu}{SE_{\bar{X}}} < t_{0.05(2),df} SE_{\bar{X}}

  • 转换后得:

X‾−t0.05(2),dfSEX‾<μ<X‾+t0.05(2),dfSEX‾ \bar{X} - t_{0.05(2),df} SE_{\bar{X}} < \mu < \bar{X} + t_{0.05(2),df} SE_{\bar{X}}

  • 即 t0.05(2),dft_{0.05(2),df} 替代了2SE近似法则中的2

单样本 tt-test

基于tt分布来比较一个随机样本的均值和零假设中的总体均值——

幼苗高度是否达到参考值?

  • 12 株独立幼苗,测量 30 天后的高度(cm);
  • 与预设参考值 10 cm进行比较;

H0:μ=10cm,HA:μ≠10cmH_0:\mu=10 cm,\qquad H_A:\mu\ne10 cm

height <- c(9.1, 10.3, 10.5, 9.9, 11.1, 10.1,
            10.9, 11.0, 10.4, 12.1, 9.7, 11.9)
c(n = length(height), mean = mean(height), sd = sd(height))
      n    mean      sd 
12.0000 10.5833  0.8726 

单样本 tt-test

  • 手算标准误、tt 和 P

t=x‾−μ0s/n,df=n−1t=\frac{\bar x-\mu_0}{s/\sqrt n},\qquad df=n-1

n <- length(height)
se <- sd(height) / sqrt(n)
t_obs <- (mean(height) - 10) / se
p_value <- 2 * pt(-abs(t_obs), df = n - 1) # 从左尾计算P值
data.frame(SE = se, t = t_obs, df = n - 1, p = p_value)
      SE     t df       p
1 0.2519 2.316 11 0.04089
# p = 2 * pt(abs(t_obs), df = n - 1, lower.tail = FALSE) # 从右尾计算P值
  • 双侧检验把 tt 分布的两端计入 PP 值
  • abs(t_obs)为观测 tt 值距离 0 有多远

单样本 tt-test

  • R 操作:t.test() 检验
result <- t.test(height, mu = 10)
result

    One Sample t-test

data:  height
t = 2.3, df = 11, p-value = 0.04
alternative hypothesis: true mean is not equal to 10
95 percent confidence interval:
 10.03 11.14
sample estimates:
mean of x 
    10.58 

单样本 tt-test

总览

  1. H0:μ=10cm,HA:μ≠10cmH_0:\mu=10 cm,\qquad H_A:\mu\ne10 cm
  2. 检验统计量 t=2.3t = 2.3
  3. P=0.04<0.05P = 0.04 < 0.05
  4. 结论:拒绝零假设

那么,样本均值相对参考值 μ0\mu_0 的偏离方向是怎样的?

  • 幼苗平均高度比参考值高还是低?相差多少?

单样本 tt-test

有哪些前提条件?

  • 数据是从总体中随机抽取的样本
  • 变量在总体中呈正态分布(小样本尤其应检查重偏态与极端值)
    • 用原始点图和 Q–Q 图检查数据
    • 样本较大时,均值推断对一般的非正态较稳健
  • 配对 tt 检查差值,独立双样本 tt 检查各组数值

单样本 tt-test

  • R 诊断:通过图形检查数据是否存在明显偏态或极端值
    • 点图:通过展示每个数据点来观察其分布范围、聚集情况
    • Q–Q 图:把排序后的样本值与正态分布的理论分位数对应起来
par(mfrow = c(1, 2), mar = c(4, 3.5, 1, 1))
stripchart(height, method = "stack", pch = 19,
           xlab = "Height (cm)")
qqnorm(height, main = "", pch = 19)
qqline(height, col = "#B9472B", lwd = 2)

比较两个均值

双样本

  • 不同的研究设计:配对样本 vs. 两个独立样本
    • red/yellow: 不同处理(e.g.,砍伐 vs. 不砍伐)
    • sampling unit: 抽样单元(e.g.,森林样方)

2samples

配对样本 tt 检验

配对样本设计(paired design)

  • 两种处理都被应用于每个抽样单元;
  • 同一单元内的两种处理的结果不是独立的;
    • 例如,环境条件可能更相似;
    • 但同时,这种相似性将处理之外的其它因素(干扰)最小化;
    • 因此,更容易看到两种处理之间的差异;
    • 但不一定容易进行配对操作;

配对样本 tt 检验

示例:同一植株复水前后

  • 8 株幼苗分别测定复水前后叶片含水量(%)
  • 两次测量按植株一一对应,每株贡献一个变化量
before <- c(68, 72, 65, 70, 69, 75, 71, 67)
after  <- c(73, 72, 73, 73, 75, 74, 75, 74)

change <- after - before
data.frame(plant = 1:8, before, after, change)
  plant before after change
1     1     68    73      5
2     2     72    72      0
3     3     65    73      8
4     4     70    73      3
5     5     69    75      6
6     6     75    74     -1
7     7     71    75      4
8     8     67    74      7

配对样本 tt 检验

对差值做单样本检验

H0:μd=0,HA:μd≠0 H_0:\mu_d=0,\qquad H_A:\mu_d\ne0

  • 先计算每对的差值,再估计差值均值的标准误
    • 设第 ii 对的差值为 di=afteri−beforeid_i=\mathrm{after}_i-\mathrm{before}_i

d‾=1n∑i=1ndi,sd2=∑i=1n(di−d‾)2n−1,SEd‾=sdn \bar d=\frac{1}{n}\sum_{i=1}^{n}d_i,\qquad s_d^2=\frac{\sum_{i=1}^{n}(d_i-\bar d)^2}{n-1},\qquad SE_{\bar d}=\frac{s_d}{\sqrt n}

  • 统计量 tt 是针对 did_i 的

t=d‾SEd‾,df=n−1 t=\frac{\bar d}{SE_{\bar d}},\quad df=n-1

配对样本 tt 检验

为什么保留配对关系?

  • 同一植株的两次测量通常有关联——差值的方差包含这项协方差
    • 其中 safter,befores_{\mathrm{after,before}} 是两次测量的样本协方差:

sd2=(safter−sbefore)2=safter2+sbefore2−2safter,before s_d^2 = (s_{\mathrm{after}} - s_{\mathrm{before}})^2 = s_{\mathrm{after}}^2+s_{\mathrm{before}}^2 -2s_{\mathrm{after,before}}

  • 两次测量正相关时,配对可减小差值的变异;
  • 配对之间应独立,小样本时关注差值是否近似正态;
  • 原始数据的排列必须与植株编号对应。

配对样本 tt 检验

  • R 操作:针对 dd 的等价命令
t.test(after, before, paired = TRUE)

    Paired t-test

data:  after and before
t = 3.5, df = 7, p-value = 0.01
alternative hypothesis: true mean difference is not equal to 0
95 percent confidence interval:
 1.319 6.681
sample estimates:
mean difference 
              4 
t.test(change, mu = 0)

    One Sample t-test

data:  change
t = 3.5, df = 7, p-value = 0.01
alternative hypothesis: true mean is not equal to 0
95 percent confidence interval:
 1.319 6.681
sample estimates:
mean of x 
        4 

独立双样本 tt 检验

示例:比较两种光照下的叶面积 - 不同植株分别接受两种光照:shade vs sun - 每株记录一个叶面积(cm²),各植株独立接受处理

H0:μshade−μsun=0 H_0:\mu_{\mathrm{shade}}-\mu_{\mathrm{sun}}=0 HA:μshade−μsun≠0 H_A:\mu_{\mathrm{shade}}-\mu_{\mathrm{sun}}\ne0

shade <- c(14, 12, 17, 10, 13, 15, 20, 11)
sun <- c(10, 8, 11, 9, 10, 12, 9, 13, 10, 11)

rbind(
  shade = c(n = length(shade), mean = mean(shade), var = var(shade)),
  sun = c(n = length(sun), mean = mean(sun), var = var(sun))
)
       n mean    var
shade  8 14.0 10.857
sun   10 10.3  2.233

独立双样本 tt 检验

双样本的Welch’s近似tt检验 (the Welch’s approximate tt-test)

  • 适用于样本量小(e.g.,<30< 30)且两个样本的方差不一样时;
  • 两个样本均值差的标准误计算为:

SEX‾1−X‾2=s12n1+s22n2 SE_{\bar X_1-\bar X_2} =\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}

  • 均值差的检验统计量 tt 如下
    • 其中,本例零假设的均值差 Δ0=μ1−μ2=0\Delta_0 = \mu_1 - \mu_2 =0

t=(X‾1−X‾2)−Δ0SEX‾1−X‾2=(X‾1−X‾2)SEX‾1−X‾2 t=\frac{(\bar X_1-\bar X_2)-\Delta_0}{SE_{\bar X_1-\bar X_2}} =\frac{(\bar X_1-\bar X_2)} {SE_{\bar X_1-\bar X_2}}

独立双样本 tt 检验

双样本的Welch tt检验

  • 记 v1=s12/n1v_1=s_1^2/n_1、v2=s22/n2v_2=s_2^2/n_2,近似自由度为:

df=(v1+v2)2v12n1−1+v22n2−1 df= \frac{(v_1+v_2)^2} {\dfrac{v_1^2}{n_1-1}+\dfrac{v_2^2}{n_2-1}}

独立双样本 tt 检验

  • R 操作:Welch tt-test
welch_result <- t.test(shade, sun, var.equal = FALSE)
welch_result

    Welch Two Sample t-test

data:  shade and sun
t = 2.9, df = 9.3, p-value = 0.02
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 0.8699 6.5301
sample estimates:
mean of x mean of y 
     14.0      10.3 

那么,t.test() 中的变量顺序如何影响结果的解读?

t.test(sun, shade)

独立双样本 tt 检验

Welch tt-test:如何报告结果?

  • 原始数据可以算得:
    • 遮阴组平均叶面积为 14.0cm214.0 cm^2,日照组为 10.3cm210.3 cm^2;
  • 统计检验结果:
    • Welch tdf=9.30=2.9t_{df=9.30}=2.9,P=0.02P=0.02。
  • 结论?
    • 在 α=0.05\alpha=0.05 水平下,拒绝两组总体均值相等的零假设;
    • 遮阴组比日照组的叶面积平均大 3.70cm23.70 cm^2;
    • 95% CI 为 0.87–6.53cm20.87–6.53 cm^2;

独立双样本 tt 检验

等方差双样本 tt 检验

  • 假设数值变量的标准差和方差在两个总体中相同:σ12=σ22=σ2\sigma_1^2 = \sigma_2^2 = \sigma^2
  • 稳健性(robust)
    • 即使 s1s_1 和 s2s_2 差三倍以上,适度样本量时(如 n1≈n1≥30n_1 \approx n_1 \ge 30)依然适用;
    • 稍微偏离正态分布依然适用;
  • 合并方差:用两组样本方差的自由度加权平均

sp2=df1s12+df2s22df1+df2 s_p^2= \frac{df_1 s_1^2+ df_2 s_2^2} {df_1 + df_2}

  • 其中 df1=(n1−1);df2=(n2−1)df_1 = (n_1-1); df_2 = (n_2-1);新的自由度为 df=n1+n2−2df = n_1+n_2-2;

独立双样本 tt 检验

  • 等方差 tt 检验中的标准误与统计量

SEX‾1−X‾2=sp1n1+1n2,t=(X‾1−X‾2)−Δ0SEX‾1−X‾2 SE_{\bar X_1-\bar X_2} =s_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}},\qquad t=\frac{(\bar X_1-\bar X_2)-\Delta_0} {SE_{\bar X_1-\bar X_2}}

  • R 操作 var.equal = TRUE
t.test(shade, sun, var.equal = TRUE)

    Two Sample t-test

data:  shade and sun
t = 3.2, df = 16, p-value = 0.006
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 1.236 6.164
sample estimates:
mean of x mean of y 
     14.0      10.3 

两种独立双样本 tt 检验的比较

Welch tt 等方差 Student tt
总体方差 允许不同 假定相等
方差估计 分别使用 s12,s22s_1^2,s_2^2 合并为 sp2s_p^2
均值差的标准误 s12/n1+s22/n2\sqrt{s_1^2/n_1+s_2^2/n_2} sp1/n1+1/n2s_p\sqrt{1/n_1+1/n_2}
自由度 Welch 近似 ν\nu n1+n2−2n_1+n_2-2
R 参数 var.equal = FALSE(默认) var.equal = TRUE
  • 两种方法均需考虑观测独立性,以及小样本中的偏态和极端值。

课堂练习:选择合适的检验方法并说明理由

  1. 对 12 株幼苗测定施肥前后的叶绿素含量,比较平均变化是否为 0。
  2. 将 20 株独立盆栽随机分配到两种基质,比较株高均值,两组方差可能不同。
  3. 两组独立幼苗来自可合理假定具有相同总体方差的实验,如何估计共同方差及均值差的标准误?
  4. 每种基质只放在一个培养箱中,每箱测量 10 株幼苗。如何识别处理的独立重复?

报告结果时写清什么?

  • 分类变量:列联表、组内比例或效应量、使用的方法、统计量与 PP 值;
  • 连续变量:组均值或平均差、单位、使用的方法、95% CI、tt、自由度与 PP 值;

经典统计方法:一个变量的检验

✓ 已学 ○ 后续

数据类型 研究目标 前提条件 检验方法 进度
二分类频数 总体事件比例是否等于给定值 独立试验,事件概率相同 二项检验 ✓
分类频数 类别比例是否符合给定模型 独立观测,期望频数足够大,合理分组,调整自由度 χ2\chi^2 拟合优度检验 ✓
数值变量 总体均值是否等于给定值 独立观测,总体近似正态或均值近似条件适用 单样本 tt 检验 ✓
数值变量 总体中位数是否等于给定值 独立观测,可判断数值相对参考值的方向 (常见于数据不符合正态分布) 符号检验 ○
数值变量 总体分布是否符合正态模型 独立观测 Shapiro-Wilk正态性检验 ○

经典统计方法:两个变量间相关性的检验

✓ 已学 ○ 后续

响应变量 ↓ / 解释变量 → 分类变量 数值变量
分类变量 ✓ 卡方独立性检验:观测独立,期望频数充足。

✓ 费舍尔精确检验:观测独立,适用于稀疏列联表。
○ 逻辑斯蒂回归:二分类响应,观测独立,模型形式合理。
数值变量 两组配对
✓ 配对 tt 检验:差值近似正态。
○ 符号检验:检验差值中位数,无需正态假设。

两组独立
✓ Welch tt 检验:允许方差不同。
✓ 等方差双样本 tt 检验:要求总体方差相等。
○ 两独立样本秩和检验:比较分布,无需正态假设。

多组独立
○ 单因素方差分析:误差近似正态、方差齐性。
○ 多组秩和检验:比较分布,无需正态假设。
相关分析
○ 皮尔逊相关:衡量线性关联,经典检验采用二元正态模型。
○ 斯皮尔曼秩相关:衡量单调关联,数据可排序。

回归分析
○ 线性回归:检查线性关系及误差假设。
○ 非线性回归:检查函数形式及误差假设。

课后练习-1:从 2 × 3 表开始

三种基质中各播 30 粒,萌发数为 18、12、24。假定每粒种子为独立观测。

  1. 建立 2 × 3 表,算出每一格的期望频数。
  2. 写出 H0H_0 和 HAH_A,选择检验方法并报告结果(建议借助R完成计算)。
  3. 若每种基质只用一个培养皿,实验单元会是什么?
  • H0H_0:基质类型与萌发结果独立,即三种基质的总体萌发概率相同。
  • HAH_A:基质类型与萌发结果有关联,即三种基质的总体萌发概率并非全部相同。

X2=10.00,df=(2−1)(3−1)=2,P≈0.00674. X^2=10.00,\qquad df=(2-1)(3-1)=2,\qquad P\approx0.00674.

在 α=0.05\alpha=0.05 水平下拒绝 H0H_0,有证据表明萌发概率随基质类型而异。

课后练习-2

研究人员在飓风来临前后对46个地点的土壤铅含量进行了监测(毫克/千克),并计算了“土壤铅含量变化”(LogRatio),即飓风后的土壤铅含量与飓风前的土壤铅含量的比值的对数值(见数据文件“Q1_SoilLeadAndHurricanes.csv”):其中小于零的数字表示飓风后土壤铅含量减少,大于零表示土壤铅含量增加,这个对数值近似呈正态分布。

    1. 选择合适的图类型并遵从制图原则来绘制土壤铅含量的变化(即主要针对表中的比值对数值“LogRatio”这一列的数据),并说明46个地点的土壤铅含量变化有什么特征,大部分地点是增加还是减少?
    1. 通过假设检验的步骤来检验飓风过后土壤铅的平均值是否发生了变化,汇报土壤铅含量平均变化的 95% 置信区间,并给出R代码。