• 聯合分布
  • 定義
    • 離散
    • 連續
  • 和與商
    • 和
    • 商
  • 順序統計量
• 期望值
  • 隨機變量的期望值
    • 單變量
    • 多變量
  • 變異數和標準差
    • 定義
    • 連續&離散
    • 柴比雪夫不等式 (Chebyshev’s Inequality)
  • 協方差和相關係數
    • 定義
    • 相關係數
  • 條件期望值
    • 隨機變量的條件期望值
    • Thm: Law of Total Expectation
      • 定義
    • Thm: Law of Total Variance
      • 定義
  • The moment generating function
    • 定義
    • 性質
• 極限定理
  • 大數法則
    • 弱大數法則
    • continuous mapping theorem
  • 中心極限定理 (Central Limit Theorem)

聯合分布

定義

兩個隨機變數 $X, Y$ 的聯合分佈函數 $F(x, y)$ 定義為： $F(x, y) = P(X \leq x, Y \leq y)$

• cdf給出了 $(X, Y)$ 落在矩形區域的機率
  
  如圖所示，$(X, Y)$ 落入圖 $3.2$ 中的概率是 $P(a < X \leq b, c < Y \leq d) = F(b, d) - F(a, d) - F(b, c) + F(a, c)$

離散

• 聯合概率質量函數 $p(x, y)$ 定義為： $p(x, y) = P(X = x, Y = y)$
• 邊際概率質量函數： $p_X(x) = \sum_{y} p(x, y)$, $p_Y(y) = \sum_{x} p(x, y)$
  • $p_X(x)$ 給出了 $X$ 的概率質量函數
  • $p_Y(y)$ 給出了 $Y$ 的概率質量函數

連續

• 聯合概率密度函數 $f(x, y)$ 定義為： $\displaystyle f(x, y) = \frac{\partial^2 F(x, y)}{\partial x \partial y}$

和與商

和

Suppose that $X, Y$ are two random variables with joint pdf $f(x, y)$, then the pmf & cdf of $Z = X + Y$ is given by:

• pmf
  $p_Z(z) = P(Z = z) = P(X + Y = z) = \sum_{x} P(X = x, Y = z - x) = \sum_{x} f(x, z - x)$
• cdf
  If $X, Y$ are independent, then:
  $F_Z(z) = P(Z \leq z) = P(X + Y \leq z) = \int_{-\infty}^{\infty} \int_{-\infty}^{z - x} f(x, y) dy dx = \int_{-\infty}^{\infty} f_X(x) F_Y(z - x) dx$

商

Quotient of two continuous random variables
Let $X, Y$ be two continuous random variables with joint density $f(x, y)$, then the pdf & cdf of $Z = X / Y$ is given by:

• cdf
  $F_Z(z) = P(Z \leq z) = P(X / Y \leq z) = \int_{}^{} \int_{A}^{} f(x, y) dx dy$
• pdf

e.g.
$X \sim N(0, 1)$, $Y \sim N(0, 1)$, $X, Y$ are independent, then $Z = X / Y$ is called the Cauchy distribution

$$\displaystyle f_Z(z) = \frac{1}{\pi(1 + z^2)}$$

$\begin{aligned} F_Z(z) &= \int_{-\infty}^{\infty} |x| \frac{1}{2\pi} e^{-\frac{x^2}{2}} e^{-\frac{(xz)^2}{2}} dx \\ &= \int_{-\infty}^{\infty} \frac{|x|}{2\pi} e^{-\frac{x^2}{2}(1+z^2)} dx \\ &= \int_{0}^{\infty} x\frac{1}{\pi} e^{-\frac{x^2}{2}(1+z^2)} dx \\ &= \frac{1}{\frac{z^{2}+1}{2}} \frac{1}{2\pi} \int_{0}^{\infty} \frac{z^{2}+1}{2} e^{(-u)\frac{z^{2}+1}{2}} du \\ &= \frac{1}{2\pi (\frac{z^{2}+1}{2})} \\ &= \frac{1}{\pi(z^{2}+1)} \end{aligned}$

順序統計量

• 順序統計量：$X_{(1)} \leq X_{(2)} \leq ... \leq X_{(n)}$
• $X_{(1)}$ 稱為最小順序統計量，$X_{(n)}$ 稱為最大順序統計量
• $X_{(k)}$ 稱為第 $k$ 順序統計量
• $X_{(k)}$ 的概率密度函數： $f_{X_{(k)}}(x) = \frac{n!}{(k-1)!(n-k)!} f(x) F(x)^{k-1} [1 - F(x)]^{n-k}$
  

期望值

隨機變量的期望值

單變量

• 離散隨機變量 $X$ 的期望值： $\displaystyle E(X) = \sum_{x} x p(x)$
• 連續隨機變量 $X$ 的期望值： $\displaystyle E(X) = \int_{-\infty}^{\infty} x f(x) dx$

多變量

• 離散隨機變量 $X_1, X_2, ..., X_n$ 的聯合期望值：

  $\displaystyle E(X_1, X_2, ..., X_n) = \sum_{x_1} \sum_{x_2} ... \sum_{x_n} x_1 x_2 ... x_n p(x_1, x_2, ..., x_n)$

• 連續隨機變量 $X_1, X_2, ..., X_n$ 的聯合期望值：

  $\displaystyle E(X_1, X_2, ..., X_n) = \int_{-\infty}^{\infty} ... \int_{-\infty}^{\infty} x_1 x_2 ... x_n f(x_1, x_2, ..., x_n) dx_1 dx_2 ... dx_n$

變異數和標準差

定義

• 隨機變量 $X$ 的變異數： $\displaystyle Var(X) = E[(X - E(X))^2] = E(X^2) - [E(X)]^2$

  $Var(X) = E((X - \mu)^2) =E(X^2+ \mu^2 - 2X\mu) = E(X^2) + \mu^2 - 2\mu E(X) = E(X^2) - E(X)^2$

• 隨機變量 $X$ 的標準差： $\displaystyle SD(X) = \sqrt{Var(X)}$

連續&離散

• 離散隨機變量 $X$ 的變異數： $\displaystyle Var(X) = \sum_{x} (x - E(X))^2 p(x)$
• 連續隨機變量 $X$ 的變異數： $\displaystyle Var(X) = \int_{-\infty}^{\infty} (x - E(X))^2 f(x) dx$

柴比雪夫不等式 (Chebyshev’s Inequality)

• 對於任意隨機變量 $X$ 和任意實數 $k > 0$，有： $$\displaystyle P(|X - E(X)| \geq k) \leq \frac{Var(X)}{k^2}$$
• 通過馬可夫不等式，有：
  $\displaystyle P(|X - E(X)| \geq k) = P((X - E(X))^2 \geq k^2) \leq \frac{E[(X - E(X))^2]}{k^2} = \frac{Var(X)}{k^2}$

協方差和相關係數

定義

• 隨機變量 $X, Y$ 的協方差：

  $$\displaystyle Cov(X, Y) = E[(X - E(X))(Y - E(Y))] = E(XY) - E(X)E(Y)$$

  $\displaystyle Cov(X, Y) = E(XY - XE(Y) - YE(X) + E(X)E(Y)) = E(XY) - E(X)E(Y)$

  • 如果 $X, Y$ 獨立，則 $Cov(X, Y) = E(XY) - E(X)E(Y) = E(X)E(Y) - E(X)E(Y) = 0$ (反之不成立)
  • 協方的性質
    • $Cov(a+X, Y) = Cov(X, Y)$ where $a$ is a constant

      $Cov(a+X, Y) = E((a+X)Y) - E(a+X)E(Y) = E(aY) + E(XY) - aE(Y) + E(X)E(Y)$
      因此加減常數不影響協方差

    • $Cov(aX, bY) = ab Cov(X, Y)$ where $a, b$ are constants

      $Cov(aX, bY) = E(aXbY) - E(aX)E(bY) = abE(XY) - abE(X)E(Y) = abCov(X, Y)$

    • $Cov(X, Y+Z) = Cov(X, Y) + Cov(X, Z)$

      $Cov(X, Y+Z) = E(X(Y+Z)) - E(X)E(Y+Z) = E(XY) + E(XZ) - E(X)E(Y) - E(X)E(Z) = Cov(X, Y) + Cov(X, Z)$

    • $Cov(aW+bX, cY+dZ) = ac Cov(W, Y) + ad Cov(W, Z) + bc Cov(X, Y) + bd Cov(X, Z)$

相關係數

如果 $X, Y$ 是聯合分布的兩個隨機變量，而協方差和變異數存在，則 $X, Y$ 的相關係數定義為：

$$\displaystyle \rho(X, Y) = \frac{Cov(X, Y)}{\sqrt{Var(X)Var(Y)}}$$

• 因此而有Cauchy-Schwarz不等式：

  $$\displaystyle |Cov(X, Y)| \leq \sqrt{Var(X)Var(Y)}$$

  證明：
  令 $\displaystyle Z = X - \frac{Cov(X, Y)}{Var(Y)}Y$，
  $\begin{aligned} 0 \leq Var(Z) &= Cov(Z, Z) \\ &= Cov(X - \frac{Cov(X, Y)}{Var(Y)}Y, X - \frac{Cov(X, Y)}{Var(Y)}Y) \\ &= Var(X) - \frac{Cov(X, Y)^2}{Var(Y)} \\ &\rightarrow Cov(X, Y)^2 \leq Var(X)Var(Y) \\ &\rightarrow -\sqrt{Var(X)Var(Y)} \leq Cov(X, Y) \leq \sqrt{Var(X)Var(Y)} \\ &\rightarrow -1 \leq \frac{Cov(X, Y)}{\sqrt{Var(X)Var(Y)}} \leq 1 \end{aligned}$

條件期望值

隨機變量的條件期望值

• 離散： $\displaystyle E(Y|X=x) = \sum_{y} x P(Y=y|X=x)$ = $\displaystyle \sum_{y} y P_{(Y|X)}(y|x)$

• 連續： $\displaystyle E(Y|X=x) = \int_{-\infty}^{\infty} y f_{(Y|X)}(y|x) dx$

  一般來說，$\displaystyle E(h(Y)|X=x) = \int_{-\infty}^{\infty} h(y) f_{(Y|X)}(y|x) dx$

Thm: Law of Total Expectation

定義

$X, Y$ 是兩個隨機變量，則 $E(Y) = E(E(Y|X))$

證明：
$\begin{aligned} E(E(Y|X)) &= \int_{-\infty}^{\infty} E(Y|X=x) f_X(x) dx \\ &= \int_{-\infty}^{\infty} [\ \int_{-\infty}^{\infty} x f_{(Y|X)}(y|x) dy]\ f_X(x) dx \\ &= \int_{-\infty}^{\infty} y \int_{-\infty}^{\infty} f(x, y) dx dy \\ &= \int_{-\infty}^{\infty} y f_Y(y) dy \\ &= E(Y) \end{aligned}$

Thm: Law of Total Variance

定義

$X, Y$ 是兩個隨機變量，則 $Var(Y) = E(Var(Y|X)) + Var(E(Y|X))$

The moment generating function

定義

• 隨機變量 $X$ 的矩生成函數： $\displaystyle M_X(t) = E(e^{tX})$
• 離散： $\displaystyle M_X(t) = \sum_{x} e^{tx} p(x)$
• 連續： $\displaystyle M_X(t) = \int_{-\infty}^{\infty} e^{tx} f(x) dx$

性質

• 如果mgf對於所有含0的開區間 $t$ 都存在，則唯一確定了隨機變量的分佈
• 若期望值存在則第 $r$ 矩： $\displaystyle E(X^r) = M_X^{(r)}(0)$
• 若 $X$ 有mgf，且 $Y = a + bX$ 則 $\displaystyle M_Y(t) = E(e^{t(a+bX)}) = e^{at} E(e^{(bt)X}) = e^{at} M_X(bt)$
• 若 $X, Y$ 獨立，則 $\displaystyle M_{X+Y}(t) = M_X(t)M_Y(t)$

極限定理

大數法則

當 $n \rightarrow \infty$ 時，樣本平均值 $\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$ 將收斂到期望值 $E(X)$

弱大數法則

• 如果 $X_1, X_2, ..., X_n$ 是獨立同分佈的隨機變量，且 $E(X_i) = \mu$，$Var(X_i) = \sigma^2$，$\forall i$,
  Let $\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$
  則對於任意 $\epsilon > 0$，有： $\displaystyle P(|\bar{X} - \mu| \geq \epsilon) \rightarrow 0$，當 $n \rightarrow \infty$

  我們可以說，樣本平均值 $\bar{X}$ 機率收斂到期望值 $\mu$, 可寫成 $\bar{X} \xrightarrow{p} \mu$ as $n \rightarrow \infty$

證明：

1. $E(\bar{X}) = E(\frac{1}{n} \sum_{i=1}^{n} X_i) = \frac{1}{n} \sum_{i=1}^{n} E(X_i) = \mu$
2. $Var(\bar{X}) = Var(\frac{1}{n} \sum_{i=1}^{n} X_i) = \frac{1}{n^2} \sum_{i=1}^{n} Var(X_i) = \frac{\sigma^2}{n}$
3. By Chebyshev’s Inequality:
   $\displaystyle P(|\bar{X} - \mu| \geq \epsilon) \leq \frac{\sigma^2}{n\epsilon^2} \rightarrow 0$ as $n \rightarrow \infty$. Hence, $\bar{X} \xrightarrow{p} \mu$ as $n \rightarrow \infty$

continuous mapping theorem

令 $Y_n$ 是以 $n$ 為索引的隨機變量序列，如果 $Y_n \xrightarrow{p} Y$，且 $g(x)$ 是一個連續函數，則 $g(Y_n) \xrightarrow{p} g(Y)$

中心極限定理 (Central Limit Theorem)

• 如果 $X_1, X_2, ..., X_n$ 是獨立同分佈的隨機變量，且 $E(X_i) = \mu$，$Var(X_i) = \sigma^2$，有共同的cdf為 $F$ 和mgf為 $M$

  令 $\displaystyle S_n = \sum_{i=1}^{n} X_i$，則 $\displaystyle \lim_{n \rightarrow \infty} P(\frac{S_nu}{\sigma \sqrt{n}} \leq x) = \Phi(x)$，$-\infty < x < \infty$

  換句話說， $\displaystyle \frac{S_n}{\sigma \sqrt{n}} \xrightarrow{d} Z$，as $n \rightarrow \infty$，其中 $Z \rightarrow N(0, 1)$

  或者 $\displaystyle \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$
  $\displaystyle \frac{S_n}{\sigma \sqrt{n}} = \frac{1}{\sigma} \frac{1}{\sqrt{n}} \sum_{i=1}^{n} X_i = \frac{\sqrt{n} \bar{X_n}}{\sigma} \xrightarrow{d} Z$

• 證明：
  令 $X_1, X_2, ..., X_n$ 是獨立同分佈的隨機變量，且 $E(X_i) = \mu$，$Var(X_i) = \sigma^2$

  • 假設共同 mgf $\coloneqq M_X(t)$ 存在並定義在 $0$ 的鄰域

  1. 不失一般性，假設 $\mu = 0$
     Let $\displaystyle Z_n = \frac{\sqrt{n}}{\sigma}\bar{X_n} = \frac{1}{\sigma \sqrt{n}}(X_1 + X_2 + ... + X_n)$
     $\displaystyle M_{Z_n}(t) = M_{\frac{1}{\sigma \sqrt{n}}(X_1 + X_2 + ... + X_n)}(t) = M_X(\frac{t}{\sigma \sqrt{n}})^n$

  2. Consider Taylor expansion of $M_X(t)$ around $t = 0$
     $\displaystyle M_X(t) = M_X(0) + M_X'(0)t + \frac{1}{2}t^2 M_X''(0)$ where $\epsilon(t)$ is the remainder term $\displaystyle \frac{\epsilon(t)}{t^2} \rightarrow 0$ as $t \rightarrow 0$

     $\displaystyle M_X'(0) = 1$, $\displaystyle tM_X'(0) = E(X) = 0$, $\displaystyle M_X''(0) = \sigma^2$

  3. Thus $\displaystyle M_{X}(\frac{t}{\sigma \sqrt{n}}) = 1 + \frac{1}{2}(\frac{t}{\sigma \sqrt{n}})^2 \sigma^2 + \epsilon(\frac{t}{\sigma \sqrt{n}}) = 1 + \frac{t^2}{2n} + \epsilon(n)$
     $\displaystyle M_{Z_n}(t) = M_X(\frac{t}{\sigma \sqrt{n}})^n = (1 + \frac{t^2}{2n} + \epsilon(n))^n \rightarrow e^{\frac{t^2}{2}}$ as $n \rightarrow \infty$

  4. The mgf of $Z_n$ converges to $e^{\frac{t^2}{2}}$, which is the mgf of $N(0, 1)$

     $\displaystyle Z_n \xrightarrow{d} N(0, 1)$ as $n \rightarrow \infty$

     $\Rightarrow \displaystyle \frac{S_n}{\sigma \sqrt{n}} = \frac{\sqrt{n} \bar{X_n}}{\sigma} \xrightarrow{d} N(0, 1)$ as $n \rightarrow \infty$