聯合分布
定義
兩個隨機變數 X , Y 的聯合分佈函數 F ( x , y ) 定義為: F ( x , y ) = P ( X ≤ x , Y ≤ y )
cdf給出了 ( X , Y ) 落在矩形區域的機率
如圖所示,( X , Y ) 落入圖 3 . 2 中的概率是 P ( a < X ≤ b , c < Y ≤ d ) = F ( b , d ) − F ( a , d ) − F ( b , c ) + F ( a , c )
離散
聯合概率質量函數 p ( x , y ) 定義為: p ( x , y ) = P ( X = x , Y = y )
邊際概率質量函數: p X ( x ) = ∑ y p ( x , y ) , p Y ( y ) = ∑ x p ( x , y )
p X ( x ) 給出了 X 的概率質量函數
p Y ( y ) 給出了 Y 的概率質量函數
連續
聯合概率密度函數 f ( x , y ) 定義為: f ( x , y ) = ∂ x ∂ y ∂ 2 F ( x , y )
和與商
和
Suppose that X , Y are two random variables with joint pdf f ( x , y ) , then the pmf & cdf of Z = X + Y is given by:
pmf
p Z ( z ) = P ( Z = z ) = P ( X + Y = z ) = ∑ x P ( X = x , Y = z − x ) = ∑ x f ( x , z − x )
cdf
If X , Y are independent, then:
F Z ( z ) = P ( Z ≤ z ) = P ( X + Y ≤ z ) = ∫ − ∞ ∞ ∫ − ∞ z − x f ( x , y ) d y d x = ∫ − ∞ ∞ f X ( x ) F Y ( z − x ) d x
商
Quotient of two continuous random variables
Let X , Y be two continuous random variables with joint density f ( x , y ) , then the pdf & cdf of Z = X / Y is given by:
cdf
F Z ( z ) = P ( Z ≤ z ) = P ( X / Y ≤ z ) = ∫ ∫ A f ( x , y ) d x d y
pdf
e.g.
X ∼ N ( 0 , 1 ) , Y ∼ N ( 0 , 1 ) , X , Y are independent, then Z = X / Y is called the Cauchy distribution
f Z ( z ) = π ( 1 + z 2 ) 1
F Z ( z ) = ∫ − ∞ ∞ ∣ x ∣ 2 π 1 e − 2 x 2 e − 2 ( x z ) 2 d x = ∫ − ∞ ∞ 2 π ∣ x ∣ e − 2 x 2 ( 1 + z 2 ) d x = ∫ 0 ∞ x π 1 e − 2 x 2 ( 1 + z 2 ) d x = 2 z 2 + 1 1 2 π 1 ∫ 0 ∞ 2 z 2 + 1 e ( − u ) 2 z 2 + 1 d u = 2 π ( 2 z 2 + 1 ) 1 = π ( z 2 + 1 ) 1
順序統計量
順序統計量:X ( 1 ) ≤ X ( 2 ) ≤ . . . ≤ X ( n )
X ( 1 ) 稱為最小順序統計量,X ( n ) 稱為最大順序統計量
X ( k ) 稱為第 k 順序統計量
X ( k ) 的概率密度函數: f X ( k ) ( x ) = ( k − 1 ) ! ( n − k ) ! n ! f ( x ) F ( x ) k − 1 [ 1 − F ( x ) ] n − k
期望值
隨機變量的期望值
單變量
離散隨機變量 X 的期望值: E ( X ) = x ∑ x p ( x )
連續隨機變量 X 的期望值: E ( X ) = ∫ − ∞ ∞ x f ( x ) d x
多變量
離散隨機變量 X 1 , X 2 , . . . , X n 的聯合期望值:
E ( X 1 , X 2 , . . . , X n ) = x 1 ∑ x 2 ∑ . . . x n ∑ x 1 x 2 . . . x n p ( x 1 , x 2 , . . . , x n )
連續隨機變量 X 1 , X 2 , . . . , X n 的聯合期望值:
E ( X 1 , X 2 , . . . , X n ) = ∫ − ∞ ∞ . . . ∫ − ∞ ∞ x 1 x 2 . . . x n f ( x 1 , x 2 , . . . , x n ) d x 1 d x 2 . . . d x n
變異數和標準差
定義
隨機變量 X 的變異數: V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = E ( X 2 ) − [ E ( X ) ] 2
V a r ( X ) = E ( ( X − μ ) 2 ) = E ( X 2 + μ 2 − 2 X μ ) = E ( X 2 ) + μ 2 − 2 μ E ( X ) = E ( X 2 ) − E ( X ) 2
隨機變量 X 的標準差: S D ( X ) = V a r ( X )
連續&離散
離散隨機變量 X 的變異數: V a r ( X ) = x ∑ ( x − E ( X ) ) 2 p ( x )
連續隨機變量 X 的變異數: V a r ( X ) = ∫ − ∞ ∞ ( x − E ( X ) ) 2 f ( x ) d x
柴比雪夫不等式 (Chebyshev’s Inequality)
對於任意隨機變量 X 和任意實數 k > 0 ,有:
通過馬可夫不等式,有:
P ( ∣ X − E ( X ) ∣ ≥ k ) = P ( ( X − E ( X ) ) 2 ≥ k 2 ) ≤ k 2 E [ ( X − E ( X ) ) 2 ] = k 2 V a r ( X )
協方差和相關係數
定義
相關係數
如果 X , Y 是聯合分布的兩個隨機變量,而協方差和變異數存在,則 X , Y 的相關係數定義為:
ρ ( X , Y ) = V a r ( X ) V a r ( Y ) C o v ( X , Y )
因此而有Cauchy-Schwarz不等式:
∣ C o v ( X , Y ) ∣ ≤ V a r ( X ) V a r ( Y )
證明:
令 Z = X − V a r ( Y ) C o v ( X , Y ) Y ,
0 ≤ V a r ( Z ) = C o v ( Z , Z ) = C o v ( X − V a r ( Y ) C o v ( X , Y ) Y , X − V a r ( Y ) C o v ( X , Y ) Y ) = V a r ( X ) − V a r ( Y ) C o v ( X , Y ) 2 → C o v ( X , Y ) 2 ≤ V a r ( X ) V a r ( Y ) → − V a r ( X ) V a r ( Y ) ≤ C o v ( X , Y ) ≤ V a r ( X ) V a r ( Y ) → − 1 ≤ V a r ( X ) V a r ( Y ) C o v ( X , Y ) ≤ 1
條件期望值
隨機變量的條件期望值
離散: E ( Y ∣ X = x ) = y ∑ x P ( Y = y ∣ X = x ) = y ∑ y P ( Y ∣ X ) ( y ∣ x )
連續: E ( Y ∣ X = x ) = ∫ − ∞ ∞ y f ( Y ∣ X ) ( y ∣ x ) d x
一般來說,E ( h ( Y ) ∣ X = x ) = ∫ − ∞ ∞ h ( y ) f ( Y ∣ X ) ( y ∣ x ) d x
Thm: Law of Total Expectation
定義
X , Y 是兩個隨機變量,則 E ( Y ) = E ( E ( Y ∣ X ) )
證明:
E ( E ( Y ∣ X ) ) = ∫ − ∞ ∞ E ( Y ∣ X = x ) f X ( x ) d x = ∫ − ∞ ∞ [ ∫ − ∞ ∞ x f ( Y ∣ X ) ( y ∣ x ) d y ] f X ( x ) d x = ∫ − ∞ ∞ y ∫ − ∞ ∞ f ( x , y ) d x d y = ∫ − ∞ ∞ y f Y ( y ) d y = E ( Y )
Thm: Law of Total Variance
定義
X , Y 是兩個隨機變量,則 V a r ( Y ) = E ( V a r ( Y ∣ X ) ) + V a r ( E ( Y ∣ X ) )
The moment generating function
定義
隨機變量 X 的矩生成函數: M X ( t ) = E ( e t X )
離散: M X ( t ) = x ∑ e t x p ( x )
連續: M X ( t ) = ∫ − ∞ ∞ e t x f ( x ) d x
性質
如果mgf對於所有含0的開區間 t 都存在,則唯一確定了隨機變量的分佈
若期望值存在則第 r 矩: E ( X r ) = M X ( r ) ( 0 )
若 X 有mgf,且 Y = a + b X 則 M Y ( t ) = E ( e t ( a + b X ) ) = e a t E ( e ( b t ) X ) = e a t M X ( b t )
若 X , Y 獨立,則 M X + Y ( t ) = M X ( t ) M Y ( t )
極限定理
大數法則
當 n → ∞ 時,樣本平均值 X ˉ = n 1 ∑ i = 1 n X i 將收斂到期望值 E ( X )
弱大數法則
如果 X 1 , X 2 , . . . , X n 是獨立同分佈的隨機變量,且 E ( X i ) = μ ,V a r ( X i ) = σ 2 ,∀ i ,
Let X ˉ = n 1 ∑ i = 1 n X i
則對於任意 ϵ > 0 ,有: P ( ∣ X ˉ − μ ∣ ≥ ϵ ) → 0 ,當 n → ∞
我們可以說,樣本平均值 X ˉ 機率收斂到期望值 μ , 可寫成 X ˉ p μ as n → ∞
證明:
E ( X ˉ ) = E ( n 1 ∑ i = 1 n X i ) = n 1 ∑ i = 1 n E ( X i ) = μ
V a r ( X ˉ ) = V a r ( n 1 ∑ i = 1 n X i ) = n 2 1 ∑ i = 1 n V a r ( X i ) = n σ 2
By Chebyshev’s Inequality:
P ( ∣ X ˉ − μ ∣ ≥ ϵ ) ≤ n ϵ 2 σ 2 → 0 as n → ∞ . Hence, X ˉ p μ as n → ∞
continuous mapping theorem
令 Y n 是以 n 為索引的隨機變量序列,如果 Y n p Y ,且 g ( x ) 是一個連續函數,則 g ( Y n ) p g ( Y )
中心極限定理 (Central Limit Theorem)
如果 X 1 , X 2 , . . . , X n 是獨立同分佈的隨機變量,且 E ( X i ) = μ ,V a r ( X i ) = σ 2 ,有共同的cdf為 F 和mgf為 M
令 S n = i = 1 ∑ n X i ,則 n → ∞ lim P ( σ n S n u ≤ x ) = Φ ( x ) ,− ∞ < x < ∞
換句話說, σ n S n d Z ,as n → ∞ ,其中 Z → N ( 0 , 1 )
或者 X ˉ = n 1 i = 1 ∑ n X i
σ n S n = σ 1 n 1 i = 1 ∑ n X i = σ n X n ˉ d Z
證明:
令 X 1 , X 2 , . . . , X n 是獨立同分佈的隨機變量,且 E ( X i ) = μ ,V a r ( X i ) = σ 2
假設共同 mgf : = M X ( t ) 存在並定義在 0 的鄰域
不失一般性,假設 μ = 0
Let Z n = σ n X n ˉ = σ n 1 ( X 1 + X 2 + . . . + X n )
M Z n ( t ) = M σ n 1 ( X 1 + X 2 + . . . + X n ) ( t ) = M X ( σ n t ) n
Consider Taylor expansion of M X ( t ) around t = 0
M X ( t ) = M X ( 0 ) + M X ′ ( 0 ) t + 2 1 t 2 M X ′ ′ ( 0 ) where ϵ ( t ) is the remainder term t 2 ϵ ( t ) → 0 as t → 0
M X ′ ( 0 ) = 1 , t M X ′ ( 0 ) = E ( X ) = 0 , M X ′ ′ ( 0 ) = σ 2
Thus M X ( σ n t ) = 1 + 2 1 ( σ n t ) 2 σ 2 + ϵ ( σ n t ) = 1 + 2 n t 2 + ϵ ( n )
M Z n ( t ) = M X ( σ n t ) n = ( 1 + 2 n t 2 + ϵ ( n ) ) n → e 2 t 2 as n → ∞
The mgf of Z n converges to e 2 t 2 , which is the mgf of N ( 0 , 1 )
Z n d N ( 0 , 1 ) as n → ∞
⇒ σ n S n = σ n X n ˉ d N ( 0 , 1 ) as n → ∞