통계처리를 할 때
대개는 모집단의 분산이며 평균을 알기가 힘듭니다. 모집단 자체를 전수조사하기가 어렵기 때문이기도 하고....모집단의 정확한 범위를 알지 못 하는 경우도 있고....
아무튼.....그래서 실제 모집단에서 표본 몇십개...또는 몇백개를 추출해서 그것의 분산(표본분산)이나 평균(표본평균)을 사용해야 하는 경우가 대부분입니다.
특히, 표본수가 크지 않을 때 표본분산(표본표준편차)을 사용한 테스트는 t-분포를 이용한다고 해서 T-test라고 하는데, 요즘 통계프로그램들은 t-값이며 유의확률을 자동으로 계산해 주지요.
(모분산을 모를 때 사용하는 테스트가 t-test)
두개의 모집단의 모평균이 서로 같은가 아닌가를 검정할 때
이때 귀무가설과 대립가설은 다음과 같이 세우게 됩니다.
귀무가설 H0: 두개의 모평균이 같다.
대립가설 H1: 두개의 모평균은 다르다.
유의수준(significance level)은 보통 1%, 5%, 10% 세개를 주로 사용하는데, 즉,0.01, 0.05, 0.1.... 그중에서도 1%와 5%를 많이 사용합니다.
유의수준 0.05라 함은
두개 집단의 모평균은 실제 같은데도
잘 못해서 귀무가설을 기각하게 될 확률(모평균이 같지않은 것으로 판단할 확률)을 의미합니다. (소위 "1종오류"를 범할 확률입니다.)
달리 말하면, 5%(0.05)의 유의성이란 테스트 결과가 "사실이 아닐 확률"이 5%라는 뜻....또는 "사실일 확률"이 95% 라는 뜻입니다.
정확히 말하면 이와 같은 테스트 방법을 100번 사용할 때 95번 정도만 제대로 맞게 검정한다는 뜻입니다.
유의확률은 소위 p-value라고 하는 것으로 귀무가설을 기각할 수 있는 최소한의 확률을 의미합니다.
유의확률은 0.009로 도출되었다고 합시다. (등분산 가정하에서도 등분산을 가정하지 않을 경우에도 마찬가지입니다.)
유의확률은 위의 유의수준을 보다 정확히 계산한 것으로 귀무가설을 잘 못 기각할 확률 0.9% 밖에 안된다는 겁니다.
1% 이내냐 5%이내냐라는 식으로 대충얘기하는 것이 유의수준.....그럼, 실제 테스트했더니 잘못될 확률이 정확하게 얼마냐하고 계산한 것이 유의확률....입니다.
여기서는 0.009(0.9%)니까, 5%는 물론 1%의 유의수준에서 귀무가설을 기각할 수 있다는 뜻입니다.
즉, 두 모집단의 모평균이 서로 같다는 귀무가설을 잘 못 기각할 확률이 1%이하, (5% 이하일 뿐만아니라....정확히 말하면 0.9%)라는 뜻입니다. (쉽게 말해서, 두개의 집단간 모평균이 다를 확률이 99.1%라는 것인데... 이렇게는 표현하지 않습니다.)
그러니까, 두집단간에는 통계적으로 유의미한 차이가 있다는 말이죠. 그래서 "유의"라는 말을 씁니다.
보다 깊은 내용은 통계학 책의 "검정" 챕터를 자세히 읽어보시길.....