몬티 홀의 문 뒤에, 직관이 항복하는 순간

세 개의 문이 있다. 하나의 문 뒤에는 자동차가 있고, 나머지 둘 뒤에는 염소가 있다. 참가자가 문 하나를 고르면, 사회자는 나머지 두 문 중 염소가 있는 문 하나를 열어 보여준다. 그리고 묻는다. 선택을 바꾸겠습니까? 이 질문이 수십 년간 수학자와 일반인을 모두 혼란에 빠뜨린 몬티 홀 문제의 전부다.

게임쇼에서 태어난 역설

몬티 홀 문제의 이름은 미국 TV 게임쇼 “Let’s Make a Deal”의 사회자 몬티 홀에서 왔다. 하지만 이 문제가 본격적으로 논쟁을 촉발한 것은 1990년 매릴린 보스 사반트가 자신의 칼럼에서 “선택을 바꾸는 것이 유리하다”고 답한 이후였다. 수천 통의 항의 편지가 쏟아졌고, 그중에는 박사 학위 소지자들의 편지도 적지 않았다.

직관의 첫 반응

대부분의 사람이 이 문제를 처음 접하면 동일한 반응을 보인다. 문이 두 개 남았으니 확률은 반반 아닌가? 이 직관은 강력하고 즉각적이며, 틀렸다. 문제의 핵심은 사회자가 무작위로 문을 여는 것이 아니라, 반드시 염소가 있는 문만 연다는 점에 있다. 이 규칙이 정보를 제공하며, 그 정보가 확률 분포를 변화시킨다.

규칙이 만드는 차이

만약 사회자가 무작위로 문을 열어 때로는 자동차를 드러내기도 한다면, 자동차가 노출되지 않은 경우에 한해서 남은 두 문의 확률은 실제로 반반이 된다. 하지만 몬티 홀 문제에서 사회자는 반드시 염소 문만 연다. 이 제약이 전부를 바꾼다.

확률의 흐름을 추적하면

처음 문을 고를 때, 자동차가 해당 문 뒤에 있을 확률은 3분의 1이다. 나머지 두 문에 자동차가 있을 확률은 합쳐서 3분의 2다. 사회자가 나머지 두 문 중 하나를 열어 염소를 보여주면, 그 3분의 2의 확률이 고스란히 열리지 않은 문 하나에 집중된다. 바꾸면 3분의 2의 확률로 자동차를 얻고, 고수하면 3분의 1의 확률에 머문다.

경우의 수로 확인하기

자동차가 문 1 뒤에 있다고 가정하자. 참가자가 문 1을 골랐다면 바꾸면 실패한다. 참가자가 문 2를 골랐다면 사회자는 문 3을 열 수밖에 없고, 바꾸면 문 1의 자동차를 얻는다. 참가자가 문 3을 골랐다면 사회자는 문 2를 열고, 바꾸면 역시 자동차다. 세 경우 중 바꿔서 이기는 경우가 둘이고, 바꿔서 지는 경우가 하나다. 3분의 2라는 결론이 경우의 수 나열로도 동일하게 나온다.

조건부 확률의 언어로

이 문제는 조건부 확률의 교과서적 사례이기도 하다. 참가자가 문 1을 선택하고 사회자가 문 3을 열었다는 조건하에서, 자동차가 문 2에 있을 확률을 구하면 베이즈 정리를 통해 3분의 2가 도출된다. 사회자의 행동이 조건을 형성하고, 그 조건이 사전 확률을 갱신한다. 정보가 추가되었으므로 확률이 바뀌는 것은 당연한 일이다.

사회자의 선택이 정보인 이유

사회자는 자동차의 위치를 알고 있다. 아는 사람이 의도적으로 특정 문을 피해 다른 문을 열었다는 사실 자체가 정보다. 참가자가 처음 선택한 문이 맞다면 사회자는 나머지 둘 중 아무 문이나 열 수 있지만, 참가자가 틀렸다면 사회자는 선택지가 하나뿐이다. 이 비대칭성이 확률 이동의 원천이다.

직관이 저항하는 이유

인간의 인지는 확률 갱신에 취약하다. 새로운 정보가 주어졌을 때 기존 믿음을 적절히 조정하는 일은 의식적 노력을 요구한다. 몬티 홀 문제에서 많은 사람이 확률을 반반으로 느끼는 것은, 사회자의 행동이 전달하는 정보를 직관적으로 처리하지 못하기 때문이다.

동등 가능성의 착각

두 개의 선택지가 남으면 확률이 반반일 것이라는 가정은 뿌리 깊다. 하지만 두 선택지의 확률이 동등하려면 그것을 보장하는 대칭 구조가 있어야 한다. 몬티 홀 문제에서 남은 두 문은 대칭이 아니다. 하나는 참가자가 직접 골랐고, 다른 하나는 사회자의 제거 과정을 거쳐 살아남았다. 이 비대칭이 확률의 비대칭을 만든다.

문의 수를 늘려보면

직관의 한계를 극복하는 한 가지 방법은 문의 수를 극단적으로 늘리는 것이다. 문이 100개이고 자동차는 하나뿐이라고 상상해보자. 참가자가 하나를 고른 뒤, 사회자가 나머지 99개 중 98개의 염소 문을 열어젖힌다. 남은 문 하나와 처음 선택 사이에서 바꾸지 않을 사람은 드물다. 100분의 1 대 99분의 100이라는 수치가 직관에 더 명확하게 와닿기 때문이다.

시뮬레이션이라는 증거

몬티 홀 문제의 답에 여전히 의심이 남는다면, 시뮬레이션이 가장 효과적인 설득 수단이다. 컴퓨터로 수만 번의 게임을 반복하면, 바꾸는 전략의 승률은 3분의 2에 수렴하고 고수하는 전략의 승률은 3분의 1에 수렴한다. 이론적 확률과 경험적 빈도의 수렴은 큰 수의 법칙이 보장하며, 이 수렴은 수학적 분석의 결론과 정확히 일치한다.

반복이 보여주는 것

시뮬레이션의 힘은 논증이 아니라 관찰에 있다. 수학적 증명을 받아들이지 않는 사람도 수만 번의 시행 결과 앞에서는 태도가 달라진다. 이것은 확률 교육에서 중요한 시사점을 제공한다. 추상적 논리보다 구체적 경험이 직관을 교정하는 데 더 효과적일 수 있다는 것이다.

변형과 확장

몬티 홀 문제에는 수많은 변형이 존재한다. 사회자가 자동차 위치를 모르는 경우, 문이 네 개 이상인 경우, 사회자가 여러 문을 여는 경우 등 조건을 바꿀 때마다 최적 전략이 달라진다. 이런 변형을 탐구하면 원래 문제의 핵심이 사회자의 지식과 의도적 행동에 있다는 사실이 더욱 분명해진다.

문 앞에서의 판단

몬티 홀 문제는 단순한 퍼즐이 아니라, 확률적 사고와 직관적 사고의 충돌을 보여주는 사례다. 새로운 정보가 주어졌을 때 기존 판단을 수정하는 능력, 표면적 대칭에 속지 않는 분석력, 그리고 자신의 직관이 틀릴 수 있다는 겸손이 이 문제가 요구하는 태도다. 세 개의 문 앞에서 선택을 바꾸는 것은 수학적으로 유리할 뿐 아니라, 정보에 반응하는 합리적 태도의 표현이기도 하다.