영화 [뷰티플 마인드]를 보셨는지? 독창적인 게임이론을 체계화시켜 노벨상까지 받았지만 평생 정신질환으로 시달렸던 천재 수학자 존 내시를 그린 영화이다. 동명의 베스트셀러를 영화화해서 많은 찬사를 받았지만 정작 집합적인 인간 행동의 복잡성을 설명하려 했던 내시의 수학이 뭔지는 잘 알려져 있지 않다.
서양 근대의 초기 수학적 원리를 통한 눈부신 자연과학의 발전이 이루어지면서 인간의 합리성에 대한 과도한 믿음이 생겨났고 이 믿음은 인간의 행동과 상호작용을 지배하는 ‘법칙’에 대한 믿음으로 이어지고 수많은 철학자와 과학자, 혁명가들에게 영향을 끼쳤다. 계몽주의가 탄생하고 자유주의와 사회주의의 커다란 흐름이 이어졌다. 하지만 이러한 인간의 합리성에 대한 과도한 믿음은 동구의 몰락과 자본주의의 부침에서 단적으로 드러났듯이 역사적으로 많은 한계를 보여 주었다.
현대 게임이론은 1928년 발표된 폰 노이만의 논문으로부터 시작되었다고 본다. 노이만은 2인 제로섬(한 명이 이기면 다른 사람은 무조건 진다는 의미)게임의 경우 언제나 최적의 전략-게임 규칙이나 상대의 전략과 상관없이 가능한 한 자신의 승률을 최대로 높여주는 전략- 이 존재한다는 사실을 증명했다. 수학적으로 계산된 최적의 전략은 대부분의 경우 혼합전략이다. 카드게임으로 치면 좋은 카드를 가졌을 때만 베팅을 하는 것은 순수전략인데 간단히 말해 혼합전략이란 가끔은 나쁜 카드를 들고도 뻥을 쳐야한다는 뜻이다. 노이만은 어느 정도의 비율로 순수전략을 선택하거나 뻥을 치는 것이 최적의 전략인지 수학적으로 계산해 냈다.
폰 노이만이 2인 제로섬게임에 대해 수학적인 분석을 했다면 내시는 경기자가 여러 명인 비제로섬게임에 대한 수학적 분석을 했다. 경기자들이 각자 따로따로 최대의 이익을 추구할 때 게임을 안정적으로 만드는 전략들의 집합, 즉 모두에게 최대의 이익이 보장되는 안정된 상태인 ‘내시균형’이 적어도 하나 이상 존재한다는 사실을 증명하였다. 이 ‘내시균형’ 상태에서는 누구든 전략을 수정하면 손해를 보게 되어 있다.
어떤 사회문제든 적절히 대응하는 게임을 만든 다음 내시의 수학을 적용하면 사람들이 안정을 찾고 싶어 한다면 어떤 행동을 선택할지 대략 예측할 수 있다. 이렇게 고안된 게임은 유명한 ‘죄수의 딜레마 게임’부터 ‘공공재 게임’ ‘최후통첩 게임’등 수없이 많은데 책을 보면 대표적인 게임들의 내용이 소개되어 있다.
물론 수학적으로 ‘내시균형’을 계산해 냈더라도 항상 현실과 일치하지는 않는다. 사람들이란 때로 자신의 이익보다 공정함을 우선하기도 하고 분풀이로 손해를 감수하기도 한다. 또한 현실의 사회는 경기자도 많고 보상 규칙도 매우 복잡하므로 내시균형을 계산하는 것이 쉽지 않다.
1979년 캠브리지대학 하퍼교수는 청둥오리들에게 똑같은 크기의 빵조각을 두 곳에서 한 곳은 5초 간격으로 다른 곳은 10초 간격으로 던져 주었다. 이 상황은 빵조각이 보상인 일종의 게임이다. 여러분이라면 빵을 자주 던져주는 곳으로 갈까 아니면 경쟁이 심하니까 가끔 던져 주는 곳으로 갈까? 내시균형을 계산해보면 1/3은 10초에 한번 던져주는 곳, 2/3는 5초에 한번 던져주는 곳이 최적의 전략이다. 재밌게도 오리들은 1분도 걸리지 않아 정확히 게임이론의 예측에 따라 두 그룹으로 갈라졌다.
만약 빵조각의 크기를 다르게 하면? 당연히 횟수에 크기까지 넣어 내시균형을 계산할 수 있다. 오리들 역시 시간이 더 오래 걸리지만 이 균형에 도달한다. 게임이론과 생물학이 만났던 지점이고, 현재 게임이론은 진화의 많은 양상들을 설명해 주고 있다. 정글의 법칙을 따르는 이기적인 인간들이 어떻게 협조적인 행동문화와 문명을 만들어 냈을까? 언어는 어떻게 나타났을까? 하는 의문들을 게임이론이 설명해 줄 수 있을 것으로 기대하고 있다.
인간이 자기 두뇌 속을 들여다보지 못했던 시기에는 관찰 가능한 외적인 행동을 주로 연구하는 행동주의심리학이 각광을 받았다. 하지만 MRI의 개발로 특정 행동을 할 때 두뇌 속 어떤 영역이 활성화되는지 볼 수 있게 되면서 다양한 실험들이 진행되었고 신경과학과 경제학이 통합되어 신경경제학까지 등장하였다.
예를 들면 연구자들은 최후통첩게임과 뇌스캔을 결합하였다. 이 게임은 당신이 100달러를 받고 그 중 일부를 제3자에게 나눠주고 나머지는 당신이 갖는 게임이다. 단 제 3자가 당신이 제안한 일부를 거절하면 100달러 전부를 받지 못하게 된다. 이론적으로는 제3자는 당신이 제안한 액수가 아무리 적더라도 무조건 받는 게 이익이다. 그런데 실제로 게임을 해보면 사람들은 작은 액수는 그냥 거절해 버린다. 사람들은 자기가 손해를 보더라도 당신의 욕심을 응징하려는 생각이 있는 것이다. 따라서 사람들은 상당히 후한 액수를 제 3자에게 제안하곤 한다.
이런 방식의 게임을 하면서 제 3자의 뇌를 스캔해 보면 적은 액수의 제안을 이 사람이 받아들일지 말지를 미리 예측할 수 있다. 거절하는 사람들은 공통적으로 ‘뇌섬엽’과 ‘전측대상피질’ 영역의 강한 활동이 관측된다. 특정 행동에 대한 원인이 고유한 속성일 수 있고 인간은 자신의 이익만을 위해 행동하지는 않는다는 사실을 알 수 있다. 응징자들은 개인적 만족감을 느끼는 것 같다. 인류는 응징자 개인에게는 손해일 수 있지만 사회의 이기주의자와 비협조자들을 응징함으로써 협조자들의 이익을 보장하여 결과적으로 사회 전체의 이익에 기여했을 것이다.
이런 방식의 연구를 통해 인간은 다 다르게 행동하고 사람에 따라 배신과 협력, 그리고 응징을 더 좋아하는 사람들이 있다는 것이 드러났다. 그리고 인류는 인생이라는 게임에서 협력자, 경쟁자, 응징자 등의 적절한 혼합전략을 구사하고 있는 것이다.
최후통첩게임을 다양한 문화권에서 시행해서 비교해보면 인간의 사회성은 문화에 따라 큰 차이가 있다는 것을 알 수 있다. 이기적이거나 협조적이거나 하는 다양한 편차가 발견되었고, 대체적으로 시장 거래 활동이 활발할수록 전체적인 공정함을 지향하는 경향이 관찰되었다.
요약해 보면 유전자와 환경, 문화는 서로 뒤엉켜서 다양한 행동 패턴을 만들어 냈고, 자연과 인류는 이런 행동 패턴들의 혼합전략을 선택해 왔다.
게임연구자들은 내시균형같은 고전적인 게임이론의 한계를 넘어서기 위해 다양한 학문 분야들을 접목하여 이론의 구체성과 현실성을 확장해 오고 있다. 대표적인 것이 게임이론에 통계역학, 통계 물리학, 네트워크 수학 등을 접목하여 인간의 집합적 행동의 전모를 밝히기 위한 과학으로 ‘사회물리학’ 또는 ‘경제 물리학’이 등장한 것이다.
양자역학적으로 보면 이 세상의 물리적 실체 자체가 게임이론의 혼합전략을 취하고 있다. 원자의 위치 자체가 원래 정해져 있지 않고 동시에 여러 곳에 존재한다. 아원자 세계에서는 모든 실체가 불분명하고 다양한 가능성들이 사이좋게 공존하고 있다. 게임이론의 최적 전략이 고정된 순수전략이 아니라 여러 행동 원칙들이 특정 확률분포를 가지고 혼합된 집합인 것처럼 양자물리학에서도 입자의 위치는 특정 확률분포로 존재한다. 저자는 인간의 행동, 사회의 변화 뿐 아니라 생명의 기원, 물질의 기원 나아가 우주 전체에 대한 통합적인 설명을 할 수 있는 가능성이 게임이론에 있다고 생각한다.
한 권으로 읽는 게임이론의 모든 것, 한번 쯤 읽어 볼 만하다는 생각은 없으신지? 내시균형 계산법도 부록으로 달려있다.
