• 隨機變量
  • 定義
  • pdf & cdf
  • 離散隨機變量
    • 伯努利隨機變量
    • 二項分布
    • 幾何分布 & 負二項分布
    • 超幾何分布
    • 泊松分布
  • 連續隨機變量
    • 指數密度
    • 伽瑪密度
    • 正態分佈
    • 貝塔密度

隨機變量

定義

• 隨機變量本質上是個隨機數，它的取值是由隨機現象的結果決定的。

例：
$\Omega = \{hhh, hht, htt, hth, ttt, tth, thh, tht\}$

隨機變量例子：

1. $X_1 = \text{出現正面的次數}$
2. $X_2 = \text{出現反面的次數}$
3. $X_3 = \text{出現正反面的次數之差}$

pdf & cdf

• pdf：概率密度函數(probability mass function) / 頻率函數(frequency function)
  • 通常用小寫字母表示，如：$f(x)$
• cdf：累積分佈函數(cumulative distribution function)
  • 通常用大寫字母表示，如：$F(x)$

    定義為： $F(x) = P(X \leq x)$, $-\infty < x < \infty$

離散隨機變量

只取有限值或至多可列無限值的隨機變量。

伯努利隨機變量

• 只取兩個值：$0, 1$

• 取值概率：$P(X = 1) = p$, $P(X = 0) = 1 - p$

  $p(x) = \begin{cases} p^{x}(1-p)^{1-x} & \text{if } x=0 \text{ or } x=1 \\ 0 & \text{otw} \end{cases}$

二項分布

• 伯努利試驗重複進行 $n$ 次，每次試驗獨立且有相同的成功概率 $p$
• pdf：$P(X = k) = C_k^n p^k (1-p)^{n-k}$
  • 概念：任何 $k$ 次成功的特定排列發生的概率都是 $p^k (1-p)^{n-k}$，而n次試驗有k次成功的排列數是$C_n^k$。

幾何分布 & 負二項分布

• 幾何分布：
  • 無窮次伯努利試驗中，第一次成功的次數
  • pdf：$P(X = k) = (1-p)^{k-1}p$, $k = 1, 2, 3, ...$
    • 概念：前 $k-1$ 次失敗，第k次成功的概率是 $(1-p)^{k-1}p$
    • 概率和：$\sum_{k=1}^{\infty} (1-p)^{k-1}p = 1$
• 負二項分布(一般化的幾何分布)：
  • 無窮次伯努利試驗中，第 $r$ 次成功的次數
  • pdf：$P(X = k) = C_{r-1}^{k-1} p^r (1-p)^{k-r}$, $k = r, r+1, ...$
    • 概念：前 $k-1$ 次中有 $r-1$ 次成功，第k次成功的概率是 $p^r$ ，失敗的概率是 $(1-p)^{k-r}$

超幾何分布

• 假設盒中有 $n$ 個球，其中 $r$ 個黑球， $n-r$ 個白球。從中取出 $m$ 個球，令 $X$ 為取出的黑球數。
• $\displaystyle p(X=k) = \frac{C_k^r C_{m-k}^{n-r}}{C_m^n}$, $X$ 是 $r,\, n,\, m$ 的隨機變量

泊松分布

• 參數 $\lambda$ 的泊松分布：$\displaystyle P(X = k) = \frac{e^{-\lambda} \lambda^k}{k!}$, $k = 0, 1, 2, ...$

• $\displaystyle e^{\lambda} = \sum_{k=0}^{\infty} \frac{\lambda^k}{k!}$, 頻率和為 $1$

• 當 $n$ 趨近無窮，$p$ 趨於 $0$，$np = \lambda$ 時，二項分布近似為泊松分布
  二項分布：$P(X = k) = C_k^n p^k (1-p)^{n-k}$

  設$np = \lambda$，$\displaystyle p = \frac{\lambda}{n}$，$n \to \infty$
  $\displaystyle \begin{aligned} p(k) &= \lim_{n \to \infty} C_k^n \left(\frac{\lambda}{n}\right)^k \left(1-\frac{\lambda}{n}\right)^{n-k} \\ &= \frac{\lambda^k}{k!} \frac{n!}{(n-k)!} \frac{1}{n^k} \left(1-\frac{\lambda}{n}\right)^n \left(1-\frac{\lambda}{n}\right)^{-k} = \frac{e^{-\lambda} \lambda^k}{k!} \end{aligned}$

  $\displaystyle \frac{\lambda}{n} \to 0$，$\displaystyle \left(1-\frac{\lambda}{n}\right)^n \to e^{-\lambda}$，$\displaystyle \left(1-\frac{\lambda}{n}\right)^{-k} \to 1$, $\displaystyle \frac{n!}{(n-k)!n^k} \to 1$

連續隨機變量

• 對於連續隨機變量，頻率函數被密度函數(desity function) $f(x)$ 取代
  $f(x)$ 滿足：
  1. $f(x) \geq 0$
  2. $\int_{-\infty}^{\infty} f(x) dx = 1$
  3. 如果 $X$ 是具有密度函數 $f$ 的隨機變量。對於任意 $a<b$ , $X$ 落在區間 $(a,b)$ 上的概率是密度函數從 $a$ 到 $b$ 的下方面積。
     $P(a < X < b) = \int_a^b f(x) dx$

指數密度

• pdf
  $f(x) = \begin{cases} \lambda e^{-\lambda x} & x \geq 0 \\ 0 & x < 0 \end{cases}$
• cdf
  $F(x) = \begin{cases} 1 - e^{-\lambda x} & x \geq 0 \\ 0 & x < 0 \end{cases}$

伽瑪密度

• 依賴兩個參數 $\alpha$ 和 $\lambda$, pdf在 $\alpha > 0$ , $\lambda > 0$ 時定義完好
• $\Gamma(r) = \displaystyle \int_0^{\infty} x^{r-1} e^{-x} dx$

  $$\displaystyle f(x) = \frac{\lambda^r}{\Gamma(r)} x^{r-1} e^{-\lambda x}, x > 0$$

  

正態分佈

• 依賴兩個參數 $\mu$ 和 $\sigma$ （其中 $-\infty < \mu < \infty,\, \sigma > 0$）
  $\displaystyle f(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infty < x < \infty$

貝塔密度

• 用來刻劃隨機變量在 $[0,1]$ 區間上的分佈

$$\displaystyle f(u) = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha) \Gamma(\beta)} x^{\alpha-1} (1-u)^{\beta-1}, 0 \leq u \leq 1$$