Law of Large Numbers
- X̄ = \sum{i} X_i 일 때, P(|X̄ - μ| < ε) = 1 as n → ∞.
Central Limit Theorem
- X̄ = \sum{i} X_i 이고 n >> 1일 때 (heuristic하게는 n > 30), X̄ ~ N(μ, σ^2/n).
- 모집단의 σ를 알 때, n이 얼마여야 x̄ = μ ± α w/ 95% certainty 인지 계산하는 데에 사용된다.
Sample Mean & Variance
- X̄ = \sum{i} X_i / n
- S^2 = \sum{i} (X_i - X̄)^2 / (n-1)
- 왜 n-1?
- S^2는 σ^2의 정확한 estimator가 아니다. X̄의 정의상 항상 S^2 <= σ^2 이기 때문.
- 다행히도 둘 사이에는 일정 관계가 성립한다.
- 먼저 Σ(X_i - μ)^2 = Σ(X_i - X̄)^2 + Σ(X̄ - μ)^2 이다. (좌변 전개 후 가운데 항 상쇄)
- 양변에 E를 씌우고 정리하면 E[(n-1)S^2] = (n-1)σ^2. 따라서 E[S^2] = σ^2.
Standard Error
- Var(X̄) = σ^2 / n
- Std(X̄) = S / sqrt(n)
- 이건 X̄의 분포에 관한 통계수치. 즉, sampling을 할 때 X̄가 μ랑 얼마나 떨어져 있는지를 나타냄.