Introduction to probability

확률이론에 대한 내용 정리

확률이론은 기본적으로 기술 설명, 모델링, 분석 및 설계를 하는데 강력한 도구를 제공하는 이론을 의미

 

상대 빈도라는 개념이 존재하는데, 이는 특정 실험 결과가 나타난 횟수를 전체 시행 횟수로 나눈 값을 의미한다.

특정 결과 $O_{i}$가 $n$번의 시행 중에 $N_{n}(O_{i})$번 나타났다면, 결과 $O_{i}$의 상대빈도 $f_{n}(O_{i})$는 다음과 같이 표현할 수 있음 $ f_{n}(O_{i}) = \frac{N_{n}(O_{i})}{n}$

예를 들어, 동전 100번 던져서 앞면이 45번 나왔다면, 앞면이 나올 상대빈도는 아래와 같이 표현할 수 있음

$f_{100}(앞면) = 45/100 = 0.45$

위의 수식을 해석하면 전체 시행 중 약 45%가 앞면이 나왔음을 의미함

 

실험에서 가능한 $M$개의 결과 $O_{1}, …, O_{M}$이 있을 때, $n$번의 시행에서 각 결과 $O_{i}$가 발생한 횟수 $N_{n}(O_{i})$의 합은 $n$과 같음

$N_{n}(O_{1}) + … + N_{n}(O_{M}) = n$ 으로 나타낼 수 있음

그러므로 모든 결과의 상대 빈도의 합은 1임 

수식으로 나타내면 다음과 같음 $ \frac{N_{n}(O_{1})} {n} + … + \frac{N_{n}(O_{M})} {n}= 1 $

 

시행 횟수 $n$이 커짐에 따라 상대 빈도는 안정되고 어떤 한계값에 수렴하는 것으로 보임, 이는 익숙한 개념 중 하나인 큰 수의 법칙에 대해서 말하고 있음

• 큰 수의 법칙은 확률론에서 매우 중요한 원리로, 독립적이고 동일한 확률 분포를 따르는 여러 시행의 평균이 시행 횟수가 증가함에 따라 그 기대값이 점점 가까워진다는 법칙
• 다시 말해, 시행을 충분히 많이 반복하면, 특정 사건의 상대빈보(또는 빈도의 평균)가 이론적 확률에 수렴한다는 의미

큰 수의 법칙은 두 가지 형태로 나타남

1. 약한 법칙(Weak Law)
   1. 표본 평균이 모평균에 확률적으로 수렴한다는 것을 의미. 
   2. 즉, 표본 평균과 모평균 사이의 차이가 임의로 작아질 확률이 N이 커질수록 1에 가까워진다는 것을 말함
2. 강한 법칙(Strong Law)
   1. 표본 평균이 거의 확실하게 모평균에 수렴한다는 것을 의미. 
   2. 즉, 무한히 많은 시행에서 표본 평균이 모평균과 정확히 같아질 것이라는 것

큰 수의 법칙의 경우 독립적이고 동일하게 분포된 확률변수를 따르는 시행에서 발생한다고 앞에서 설명되어 있는데 이에 대한 설명은 아래와 같음.

• 각 확률변수의 결과가 다른 확률변수의 결과에 영향을 주지 않으며 모두 같은 확률분포를 따르는 변수를 말함
• 이를 i.i.d. 확률변수들이라고 함
• 예로는 아래와 같음
  • 동전 던지기
    • 공정한 동전을 던지는 경우, 각 동전 던지기는 서로 독립적이고 각각의 던지기는 앞면이 나올 확률이 1/2, 뒷면이 나올 확률도 1/2인 동일한 확률분포를 따름
    • 동전을 던지는 각 시행은 다른 시행과 영향을 주고받지 않으며, 모든 시행은 앞면 혹은 뒷면이 나올 동등한 기회를 가짐
  • 주사위 굴리기
    • 각 주사위 굴리기는 1부터 6까지의 숫자 중 하나가 나올 동일한 확률(각각 1/6)을 가지며, 한 번의 굴리기가 다음 굴리기에 영향을 주지 않음
  • 생산 라인의 제품 검사
    • 어떤 생산 라인에서 만들어진 제품들이 있다고 가정
    • 각 제품의 품질 검사는 독립적으로 이루어지며, 모든 제품은 동일한 품질 기준을 충족할 확률을 가짐
    • 각 제품이 결함이 있는지 없는지의 검사 결과는 다른 제품의 검사 결과에 영향을 미치지 않음
  • 자동차의 연비 측정
    • 동일한 모델의 자동차들에 대한 연비 측정이라고 할 때,  각각의 자동차는 공장에서 동일한 조건으로 제작되었고 각 차량의 연비 측정 값은 독립적
    • 이들 각각은 동일한 평균 연비를 가지는 확률분포에서 나온 값이라고 할 수 있음

이러한 i.i.d. 확률변수들은 확률론 및 통계학에서 광범위하게 사용되는 개념으로, 큰 수의 법칙이나 중심극한정리 같은 중요한 이론의 전제 조건

 

출처 : probability and random process for electrical and computer engineering