반복이 만드는 확신, 빈도주의의 세계

동전을 한 번 던져 앞면이 나왔다. 이 동전이 공정한지 판단할 수 있을까? 한 번의 시행으로는 아무것도 말할 수 없다. 열 번을 던지면 어렴풋한 윤곽이 보이고, 천 번을 던지면 상당히 좁은 범위 안에서 추정이 가능해진다. 반복 가능한 시행에서 비율의 수렴을 통해 확률을 정의하려는 접근, 이것이 빈도주의의 핵심이다.

확률을 정의하는 두 갈래

확률이란 무엇인가라는 질문에 대한 답은 하나가 아니다. 크게 보면 두 가지 흐름이 있다. 하나는 확률을 믿음의 정도로 보는 베이즈주의이고, 다른 하나는 장기적 빈도로 보는 빈도주의다. 빈도주의에서 어떤 사건의 확률은 동일한 조건에서 무한히 반복했을 때 그 사건이 발생하는 비율의 극한값이다.

리하르트 폰 미제스의 콜렉티프

빈도주의의 수학적 기초를 정립한 인물 중 하나가 리하르트 폰 미제스다. 그는 콜렉티프(Kollektiv)라는 개념을 도입했다. 콜렉티프는 무한한 관측값의 수열로서, 두 가지 조건을 만족해야 한다. 첫째, 수열 내에서 특정 결과의 상대빈도가 극한값으로 수렴해야 한다. 둘째, 수열의 부분열을 어떤 규칙으로 추출하더라도 그 상대빈도가 동일한 극한값을 가져야 한다. 두 번째 조건은 무작위성을 보장하기 위한 장치다.

무작위성의 조건

두 번째 조건이 없다면 문제가 생긴다. 예를 들어 앞면과 뒷면이 규칙적으로 번갈아 나오는 수열에서도 앞면의 상대빈도는 2분의 1로 수렴한다. 하지만 홀수 번째 시행만 추출하면 모두 앞면이고, 이것은 무작위적이지 않다. 콜렉티프의 두 번째 조건은 이런 패턴을 배제함으로써 진정한 무작위성을 포착하려는 시도였다.

가설 검정의 구조

빈도주의 통계학에서 가장 널리 쓰이는 도구는 가설 검정이다. 귀무가설을 세우고, 관측된 데이터가 귀무가설 하에서 얼마나 극단적인지를 평가한 뒤, 충분히 극단적이면 귀무가설을 기각하는 절차다. 이 과정에서 핵심적인 역할을 하는 것이 p-값이다.

p-값이 말하는 것과 말하지 않는 것

p-값은 귀무가설이 참이라는 전제 아래에서, 관측된 것만큼 혹은 그보다 극단적인 결과가 나올 확률이다. p-값이 작다는 것은 관측 결과가 귀무가설과 잘 맞지 않는다는 뜻이다. 하지만 p-값은 귀무가설이 참일 확률이 아니며, 대립가설이 참일 확률도 아니다. 이 구분은 자주 혼동되며, 조건부 확률의 방향에 대한 이해가 부족할 때 오해가 심화된다.

유의수준이라는 문턱

연구자는 사전에 유의수준을 정한다. 흔히 0.05가 쓰이지만, 이 수치 자체에 수학적 필연성은 없다. 유의수준은 귀무가설이 참일 때 이를 잘못 기각할 확률의 상한이며, 이를 제1종 오류라 한다. 0.05라는 관행은 로널드 피셔의 영향이 크지만, 분야와 맥락에 따라 더 엄격하거나 느슨한 기준이 적절할 수 있다.

신뢰구간의 의미

빈도주의의 또 다른 핵심 도구인 신뢰구간도 해석에 주의가 필요하다. 95퍼센트 신뢰구간은 모수가 그 구간 안에 있을 확률이 95퍼센트라는 뜻이 아니다. 빈도주의적 해석에서 모수는 고정된 상수이며 확률의 대상이 아니다. 95퍼센트 신뢰구간이란, 동일한 방법으로 반복 추출하여 구간을 만들면 그 중 약 95퍼센트가 모수를 포함할 것이라는 뜻이다.

반복 추출이라는 사고 실험

이 해석은 실제로 실험을 수백 번 반복하는 상황을 상정한다. 한 번의 실험에서 얻은 구간이 모수를 포함하는지 여부는 알 수 없지만, 장기적으로 이 방법의 성공률이 95퍼센트임을 보장하는 것이다. 빈도주의의 모든 진술은 이런 장기적 반복의 맥락에서 의미를 갖는다. 개별 사건에 대한 확률 진술을 피하는 것이 빈도주의의 특징이자 한계다.

개별 사건의 곤란함

내일 비가 올 확률은 얼마인가? 빈도주의적으로 이 질문에 답하려면, 내일과 동일한 조건이 무한히 반복되는 상황을 상정하고 그중 비가 오는 비율을 구해야 한다. 하지만 내일은 한 번뿐이다. 이 점이 빈도주의가 일상적 확률 판단에서 어색해지는 지점이며, 베이즈주의가 개인적 믿음의 정도로서의 확률을 제안하는 동기이기도 하다.

빈도주의의 실천적 가치

이런 철학적 논쟁에도 불구하고, 빈도주의 통계학은 과학 연구의 표준 도구로 자리 잡았다. 그 이유 중 하나는 객관성에 대한 약속이다. 빈도주의적 절차는 연구자의 사전 믿음에 의존하지 않으며, 동일한 데이터에 동일한 절차를 적용하면 동일한 결론에 도달한다. 이 재현 가능성은 과학적 방법론의 핵심 가치와 부합한다.

품질 관리와 반복 시행

빈도주의가 가장 자연스럽게 작동하는 영역은 실제로 반복이 가능한 곳이다. 공장의 품질 관리에서 불량률을 추정하고, 임상 시험에서 약의 효과를 판정하고, 여론 조사에서 지지율의 오차 범위를 제시하는 일은 모두 반복 가능한 표본 추출에 기반한다. 이런 맥락에서 빈도주의적 해석은 직관적이고 실용적이다.

베이즈주의와의 관계

빈도주의와 베이즈주의는 적대적 관계로 묘사되기도 하지만, 현대 통계학에서 둘은 점점 더 상호 보완적으로 쓰인다. 많은 통계학자가 문제의 성격에 따라 두 접근을 선택적으로 사용하며, 패턴과 무작위성의 구별이라는 공통 목표 아래에서 각각의 도구가 강점을 발휘하는 영역이 다르다는 인식이 확산되고 있다.

수렴이라는 믿음

빈도주의의 근본에는 하나의 믿음이 있다. 충분히 많이 반복하면 비율이 안정된다는 것, 그리고 그 안정된 비율이 세계의 진짜 구조를 반영한다는 것이다. 동전을 천 번 던져 앞면이 512번 나왔다면, 이 동전은 대략 공정하다고 판단할 수 있다. 이 판단의 근거는 단 한 번의 던지기가 아니라 반복의 축적이며, 축적이 가능한 상황에서 빈도주의는 여전히 가장 견고한 토대를 제공한다.