• 假設檢定 (Hypothesis Testing)
  • Example: Normal Distribution
  • Student’s t-distribution
• 觀察到的顯著性p值 (obsereved significance p-value)
  • t-test
  • Two-sample t-test

假設檢定 (Hypothesis Testing)

• 虛無假設(null hypothesis)：$H_0$
• 對立假設(alternative hypothesis)：$H_1$
• 型一誤差(type I error)：拒絕 $H_0$ 但 $H_0$ 為真
  顯著水準(significance level)：$\alpha = P(\text{Type I error})$
• 型二誤差(type II error)：接受 $H_0$ 但 $H_0$ 為假
  功效(power)：$1 - \beta = P(\text{Reject } H_0 | H_1 \text{ is true})$

  $\hspace{5pt}$	$H_0$	$H_1$
  accept $H_0$	$1 - \alpha$	$\beta$
  reject $H_0$	$\alpha$	$1 - \beta$

Example: Normal Distribution

Let $X_1, X_2, ..., X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)$, $\mu$ is unknown, $\sigma^2$ is known
Goal: Find a level $\alpha$ test for $H_0: \mu = \mu_0$ vs $H_1: \mu \neq \mu_0$

1. 在虛無假設下，
   $\displaystyle \begin{aligned} X_1, X_2, ..., X_n \overset{\text{iid}}{\sim} N(\mu_0, \sigma^2) &\Rightarrow \bar{X}_n \sim N(\mu_0, \frac{\sigma^2}{n}) \\[10pt]&\Rightarrow \frac{\sqrt{n}(\bar{X}_n - \mu_0)}{\sigma} \overset{H_0}{\sim} N(0, 1) \end{aligned}$
2. 存在一個常數 $c>0$，使得 $\\[10pt] \displaystyle \begin{aligned} \alpha &= P(|\bar{X}_n - \mu_0| > c|H_0) \\[10pt] &= P\left(\frac{|\bar{X}_n - \mu_0|}{\sigma/\sqrt{n}} > \frac{c}{\sigma/\sqrt{n}} \right) \\[10pt] &= P(Z > \frac{c}{\sigma/\sqrt{n}}) + P(Z < -\frac{c}{\sigma/\sqrt{n}}) \end{aligned}$
3. 因此，我們可以選擇 $\displaystyle c = Z(\frac{\alpha}{2}) \frac{\sigma}{\sqrt{n}}$，使得 $\\[10pt]\hspace{20pt} \alpha \hspace{3pt}\begin{cases} 1 & \text{if } |\bar{X}_n - \mu_0| > \displaystyle Z(\frac{\alpha}{2}) \frac{\sigma}{\sqrt{n}} \\[10pt] 0 & \text{if } |\bar{X}_n - \mu_0| \leq \displaystyle Z(\frac{\alpha}{2}) \frac{\sigma}{\sqrt{n}} \end{cases}$

Student’s t-distribution

觀察到的顯著性p值 (obsereved significance p-value)

$t^*$ 為觀察到的檢定統計量，$\text{p-value} = 2\min\{P(T \geq t^*|H_0), P(T \leq t^*|H_0)\} = P(|T| \geq |t^*| | H_0)$

p-value 是觀察到的檢定統計量 $t^*$ 的機率，當虛無假設為真時，觀察到更極端的機率

t-test

令 $X_1, X_2, ..., X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)$, $\mu$ 和 $\sigma^2$ 未知

1. 虛無假設: $H_0: \mu = \mu_0$ vs $H_1: \mu \neq \mu_0\\[10pt]$ 對 $\alpha$ 水準的檢定, 我們想找 $c$ 使得: $\\[10pt] \hspace{20pt} \begin{aligned} \alpha &= P(|\bar{X}_n - \mu_0| > c|H_0) \\[10pt] &= P\left(\frac{|\bar{X}_n - \mu_0|}{S/\sqrt{n}} > c \right) \\[15pt] &= P(|t_{n-1}| > c) \\[10pt] &= P(t_{n-1} > c) + P(t_{n-1} < -c) \end{aligned}$

2. 設 $\displaystyle c = t_{n-1}\left(\frac{\alpha}{2}\right)\\[10pt] \hspace{20pt} \alpha \hspace{3pt}\begin{cases} 1 &\displaystyle \text{if } |t_{n-1}| > t_{n-1}\left(\frac{\alpha}{2}\right) \\[10pt] 0 &\displaystyle \text{if } |t_{n-1}| \leq t_{n-1}\left(\frac{\alpha}{2}\right) \end{cases}$

Two-sample t-test

令 $X_1, X_2, ..., X_m \overset{\text{iid}}{\sim} N(\mu_1, \sigma^2)$, $Y_1, Y_2, ..., Y_n \overset{\text{iid}}{\sim} N(\mu_2, \sigma^2)\\$

1. 假設：

   • 有同樣的變異數 $\sigma^2$
   • $X_i$ 和 $Y_j$ 獨立
   • $\mu_1$, $\mu_2$, $\sigma^2$ 都未知

2. 虛無假設：$H_0: \mu_1 = \mu_2$ vs $H_1: \mu_1 \neq \mu_2 \\[5pt]$ 如果 $H_0$ 為真，則 $\bar{X}_n \approx \bar{Y}_m$

3. 找到 $X_{n}, Y_{m}$ 的分布 $\\[10pt] \hspace{5pt} \displaystyle \begin{cases} \bar{X}_n \sim N(\mu_1, \frac{\sigma^2}{n}) \\[5pt] \bar{Y}_m \sim N(\mu_2, \frac{\sigma^2}{m}) \end{cases} \\[10pt] \hspace{5pt} \displaystyle \begin{aligned}&\Rightarrow \bar{X}_n - \bar{Y}_m \sim N(\mu_1 - \mu_2, \sigma^2[(1/n) + (1/m)]) \\[5pt] &\Rightarrow \frac{(\bar{X}_n - \bar{Y}_m) - (\mu_1 - \mu_2)}{\sigma\sqrt{(1/n) + (1/m)}} \sim N(0, 1) \end{aligned}$

4. 有 $\displaystyle \frac{(n-1)S_1^2}{\sigma^2} + \frac{(m-1)S_2^2}{\sigma^2} \sim \chi^2(n+m-2)\\[10pt] \begin{aligned} &\Rightarrow E\left(\frac{(n-1)S_1^2}{\sigma^2}\right) + E\left(\frac{(m-1)S_2^2}{\sigma^2}\right) = n + m - 2 \\[10pt] &\Rightarrow E(S_p^2) = \sigma^2 \end{aligned}$
   因此，我們可知 $\displaystyle \frac{(\bar{X}_n - \bar{Y}_m) - (\mu_1 - \mu_2)}{S_p\sqrt{(1/n) + (1/m)}} \sim t(n+m-2)$

5. 在虛無假設下，我們可以選擇 $\displaystyle c = t_{n+m-2}\left(\frac{\alpha}{2}\right)$，使得 $\\[10pt] \hspace{20pt} \alpha \hspace{3pt}\begin{cases} 1 & \displaystyle \text{if } |t_{n+m-2}| > t_{n+m-2}\left(\frac{\alpha}{2}\right) \\[10pt] 0 & \displaystyle \text{if } |t_{n+m-2}| \leq t_{n+m-2}\left(\frac{\alpha}{2}\right) \end{cases}\\[5pt]$
   是在虛無假設下的 $\alpha$ 水準的檢定