'내쉬 균형(Nash Equilibrium)'과 '파레토 최적(Pareto Optimality)'

'내쉬 균형(Nash Equilibrium)'과 '파레토 최적(Pareto Optimality)'

 

(* '내쉬 균형'과 '파레토 최적'은 둘 다 게임이론의 중요한 평가 기준이다. '내쉬 균형'은 개별 행위자가 각자의 이익을 극대화하는 선택을 할 때 도달하는 안정적인 상태를 예측하는 실증적 개념이다. 즉, 상대방이 현재 전략을 유지하는 한, 나 혼자 전략을 바꿔서는 더 이득을 볼 수 없는 지점을 가리킨다. 반면 '파레토 최적'은 사회 구성원 누구에게도 손해를 끼치지 않고서는 특정인의 후생을 더 높일 수 없는, 집단적 효율성이 극대화된 상태를 의미하는 규범적 기준이다. 이 두 개념의 핵심적인 관계는 종종 발생하는 '불일치'에 있다. '죄수의 딜레마'가 대표적인 사례로, 각자에게 최선인 '자백'이라는 합리적 선택이 만들어낸 내쉬 균형은, 둘 다 '침묵'했을 때보다 못한 파레토 비효율적 결과를 낳는다. )

서론

현대 사회는 개인, 기업, 국가 등 수많은 경제 주체들의 상호 의존적인 결정으로 구성된다. 한 행위자의 선택이 다른 행위자의 결과에 영향을 미치는 이러한 '전략적 상호의존성'은 경제학, 정치학, 사회학의 핵심적인 분석 과제이다. 이러한 복잡한 상호작용의 결과를 예측하고 평가하기 위해 개발된 두 가지 핵심 개념이 바로 '내쉬 균형(Nash Equilibrium)'과 '파레토 최적(Pareto Optimality)'이다.

내쉬 균형은 개별 행위자들이 각자의 이익을 극대화하려는 합리적 선택을 할 때 도달하게 되는 안정적인 상태를 예측하는 강력한 분석 도구이다. 이는 전략적 상황에서 '어떤 결과가 나타날 가능성이 높은가?'라는 실증적(positive) 질문에 답을 제시한다. 반면, 파레토 최적은 주어진 자원이 가장 효율적으로 배분된 상태를 정의하는 규범적(normative) 기준으로, '이 결과가 사회 전체적으로 바람직한가?'라는 질문에 대한 평가의 잣대를 제공한다.

이 두 개념 사이에서 빈번하게, 그리고 심대하게 발생하는 불일치가 현대 사회가 직면한 근본적인 딜레마를 드러낸다는 것이다. 즉, 개인의 합리적 선택이 집단의 비효율적인 결과로 이어지는 현상은 단순한 이론적 호기심을 넘어, 시장 실패에서부터 국제 분쟁에 이르기까지 다양한 현실 세계의 문제를 이해하는 결정적인 렌즈를 제공한다. 이에 게임 이론의 기초부터 시작하여 두 개념을 심층적으로 분석하고, 그 둘의 괴리가 발생하는 원인과 현실적 함의를 탐구함으로써 전략적 의사결정의 본질을 규명해본다.

제1장: 전략의 언어: 게임 이론의 기초 개념

내쉬 균형과 파레토 최적을 전략적 맥락에서 이해하기 위해서는 이들을 분석하는 틀, 즉 게임 이론의 기본 언어를 먼저 확립해야 한다. 이 기초적인 구성 요소들은 복잡한 상호작용을 명료하게 모델링하고 분석의 기틀을 마련하는 데 필수적이다.

1.1 게임의 정의: 경기자, 전략, 보수

게임 이론에서 '게임'이란 전략적 상황을 분석하기 위한 수리적 모형을 의미하며, 세 가지 핵심 요소로 구성된다.1
첫째는 **경기자(Player)**로, 게임에 참여하여 의사결정을 내리는 주체를 말한다. 경기자는 개인일 수도 있고, 기업이나 국가와 같은 집단일 수도 있다.2
둘째는 **전략(Strategy)**으로, 각 경기자가 특정 상황에서 선택할 수 있는 모든 가능한 행동의 집합이다.2 이는 경기자의 완전한 행동 계획을 의미한다.
셋째는 **보수(Payoff)**로, 모든 경기자의 전략 조합에 따라 각 경기자에게 돌아가는 결과, 즉 이득이나 효용을 수치로 나타낸 것이다.2

이 세 가지 요소를 통해 우리는 복잡하고 비정형적인 현실의 전략적 상호작용을 정형화된 모델로 전환할 수 있다.1 예를 들어, 두 기업의 가격 경쟁에서 경기자는 두 기업, 전략은 가능한 가격 수준들, 보수는 각 가격 조합에 따른 기업의 이윤이 된다. 이러한 형식화는 상황을 단순히 묘사하는 것을 넘어, 결과를 예측하고 분석하는 것을 가능하게 한다. 이처럼 게임 이론의 기본 틀은 그 추상성 덕분에 경제학뿐만 아니라 정치학, 생물학 등 다양한 분야에 걸쳐 전략적 논리를 분석하는 보편적인 언어의 역할을 수행한다. 이는 특정 맥락의 세부 사항을 제거하고 문제의 근원적인 전략 구조를 드러내는 게임 이론의 힘을 보여준다.

1.2 보수 행렬(Payoff Matrix): 전략적 상호작용의 시각화

소수의 경기자와 전략을 가진 게임의 경우, 게임의 상황과 결과를 한눈에 파악할 수 있도록 정리한 표를 **보수 행렬(Payoff Matrix)**이라고 부른다.3 보수 행렬은 각 경기자가 선택할 수 있는 전략들을 행과 열에 배치하고, 각 전략의 조합(각 칸)에 해당하는 모든 경기자의 보수를 명시한다.

예를 들어, 두 경기자(A와 B)가 각각 두 가지 전략(1과 2)을 가지는 게임에서 보수 행렬은 2x2 표로 나타낼 수 있다. 각 셀에는 (A의 보수, B의 보수)가 순서쌍으로 기록된다. 이 행렬은 단순히 정보를 보기 좋게 정리하는 도구를 넘어, 균형점과 효율적인 결과를 체계적으로 탐색하는 분석의 엔진 역할을 한다. 분석가는 보수 행렬을 통해 상대방의 특정 전략에 대한 나의 최적 반응(best response)을 쉽게 찾을 수 있으며, 이러한 과정을 통해 내쉬 균형을 도출할 수 있다.

1.3 합리성과 공동 지식의 가정

게임 이론, 특히 내쉬 균형 개념은 '합리성(Rationality)'이라는 결정적인 가정 위에 세워져 있다.5 이는 모든 경기자가 자신의 보수를 극대화하기 위해 행동한다는 것을 의미한다. 즉, 경기자들은 감정이나 충동이 아닌, 철저한 이익 계산에 따라 최선의 전략을 선택한다.

더 나아가, 게임 이론은 '합리성에 대한 공동 지식(Common Knowledge of Rationality)'을 가정한다. 이는 단순히 '모든 경기자가 합리적'이라는 사실을 넘어, '모든 경기자가 다른 모든 경기자가 합리적이라는 것을 알고', '모든 경기자가 다른 모든 경기자가 자신이 합리적이라는 것을 안다는 사실을 아는' 과정이 무한히 반복됨을 의미한다. 이 가정은 각 경기자가 상대방의 입장에서 생각하고 그들의 합리적인 반응을 예측하여 자신의 전략을 결정할 수 있게 해주는 논리적 기반이 된다. 이 강력한 가정은 게임 이론에 예측력을 부여하는 원천이지만, 동시에 현실 세계의 인간 행동과 다를 수 있다는 점에서 주요 비판점이 되기도 한다. 이 가정으로부터의 이탈을 연구하는 행동 게임 이론은 이러한 한계를 보완하려는 시도라고 할 수 있다.

제2장: 내쉬 균형: 안정적 결과의 논리

게임 이론의 틀 위에서, 내쉬 균형은 전략적 상호작용의 결과를 예측하는 가장 핵심적인 개념이다. 이는 개별 행위자들의 합리적 선택이 어떻게 하나의 안정된 상태로 수렴하는지를 설명한다.

2.1 공식적 정의와 직관적 설명

내쉬 균형이란 게임에 참여한 각 경기자가 상대방의 전략을 주어진 것으로 간주하고 그에 대한 최적의 전략을 선택할 때, 이러한 최적 전략들의 조합이 형성하는 균형 상태를 의미한다.1 즉, 내쉬 균형 상태에서는 어떤 경기자도 다른 경기자들이 현재의 전략을 유지하는 한, 자신만 일방적으로(unilaterally) 전략을 변경함으로써 더 높은 보수를 얻을 수 없다.6

이 개념은 1994년 노벨 경제학상을 수상한 수학자 존 포브스 내시(John Forbes Nash)에 의해 정립되었다.6 내쉬 균형은 모든 경기자의 전략이 서로에 대한 '최적 반응(best response)'이 되는 상태로, 일종의 '안정점' 또는 '고착점'으로 해석될 수 있다.7 일단 이 균형에 도달하면, 외부의 개입 없이는 누구도 스스로 그 상태를 벗어날 유인이 없기 때문에 자기 강제적(self-enforcing)인 성격을 띤다.1 내쉬 균형의 힘은 무엇이 '좋은' 결과인지를 규정하는 것이 아니라, 합리적인 행위자들의 상호작용 하에서 어떤 결과가 '실현될 가능성이 높은지'를 예측하는 데 있다. 이는 내쉬 균형을 규범적 개념이 아닌 실증적(descriptive) 개념으로 만드는 중요한 특징이다.

2.2 우월전략 균형: 더 강력한 형태의 안정성

내쉬 균형보다 더 강력하고 직관적인 균형 개념으로 '우월전략 균형(Dominant Strategy Equilibrium)'이 있다. '우월 전략(Dominant Strategy)'이란 상대방이 어떤 전략을 선택하는지와 관계없이 자신에게 항상 가장 유리한 결과를 가져다주는 전략을 말한다.2

만약 게임에 참여한 모든 경기자에게 이러한 우월 전략이 존재한다면, 합리적인 경기자들은 당연히 자신의 우월 전략을 선택할 것이다. 이때 형성되는 전략의 조합이 바로 우월전략 균형이다. 이는 매우 강력한 예측력을 가지는데, 상대방의 합리성이나 선택에 대해 복잡하게 추론할 필요조차 없기 때문이다. 모든 우월전략 균형은 정의상 내쉬 균형에 해당하지만, 그 역은 성립하지 않는다. 즉, 우월 전략이 존재하지 않는 수많은 게임에서도 내쉬 균형은 존재할 수 있다.

2.3 대표 사례 연구: 죄수의 딜레마

내쉬 균형과 우월전략 균형의 개념을 가장 극적으로 보여주는 사례는 '죄수의 딜레마(Prisoner's Dilemma)'이다. 이 시나리오는 공범인 두 명의 용의자가 분리된 취조실에서 심문을 받는 상황을 가정한다.2 각 용의자는 '자백'하거나 '침묵'할 수 있다. 이들의 보수(형량) 구조는 다음과 같은 보수 행렬로 표현될 수 있다.

	용의자 B
	침묵	자백
용의자 A
침묵	(1년, 1년)	(10년, 0년)
자백	(0년, 10년)	(5년, 5년)
(각 셀의 보수는 (A의 형량, B의 형량)을 의미하며, 형량이 낮을수록 보수가 높다.)

이 상황을 각 용의자의 입장에서 분석해보자 6:

1. 용의자 A의 관점:

• 만약 B가 '침묵'한다면, A는 '침묵'(1년형)하는 것보다 '자백'(0년형, 즉시 석방)하는 것이 이득이다.
• 만약 B가 '자백'한다면, A는 '침묵'(10년형)하는 것보다 '자백'(5년형)하는 것이 이득이다.
• 결론적으로, B의 선택과 무관하게 A에게는 '자백'이 항상 최선의 선택, 즉 우월 전략이다.

1. 용의자 B의 관점:

• B 역시 A와 동일한 상황에 놓여 있으므로, A의 선택과 무관하게 B에게도 '자백'이 우월 전략이다.

두 합리적인 용의자는 모두 자신의 우월 전략인 '자백'을 선택하게 되고, 그 결과는 (자백, 자백)이 된다. 이 지점에서 두 용의자는 모두 5년의 형을 선고받는다. 이 (자백, 자백) 전략 조합이 바로 이 게임의 우월전략 균형이자 내쉬 균형이다.5 어느 누구도 상대방이 자백을 유지하는 한, 자신만 침묵으로 바꿀 유인이 없다 (5년형이 10년형보다 낫기 때문). 이처럼 합리적이고 자기 이익에 충실한 계산이 두 경기자를 특정한 결과로 이끄는 과정을 명확히 보여준다.

2.4 균형의 종류: 순수 전략 대 혼합 전략

지금까지 논의된 전략은 **순수 전략(Pure Strategy)**으로, 경기자가 특정 행동을 100%의 확률로 선택하는 것을 의미한다. 하지만 가위바위보나 동전 맞추기(Matching Pennies) 게임처럼 순수 전략 내쉬 균형이 존재하지 않는 게임도 있다.5 예를 들어 가위바위보에서 내가 '가위'를 내는 순수 전략은 상대가 '바위'를 낼 경우 항상 패배하므로 안정적인 균형이 될 수 없다.

이러한 문제를 해결하기 위해 도입된 개념이 **혼합 전략(Mixed Strategy)**이다.6 혼합 전략은 여러 순수 전략 중 하나를 특정 확률에 따라 무작위로 선택하는 것을 말한다. 예를 들어, 가위, 바위, 보를 각각 의 확률로 내는 것이 혼합 전략이다. 존 내시는 유한한 수의 경기자와 전략을 가진 모든 게임에서 혼합 전략을 허용할 경우, 적어도 하나 이상의 내쉬 균형이 반드시 존재한다는 것을 수학적으로 증명했다.5 이는 내쉬 균형 개념이 일부 특수한 게임에만 적용되는 것이 아니라, 거의 모든 전략적 상황에 보편적으로 적용될 수 있음을 보장하는 매우 중요한 이론적 성과이다. 스타크래프트와 같은 실시간 전략 게임에서 다양한 빌드 오더를 확률적으로 사용하는 것도 일종의 혼합 전략 내쉬 균형으로 해석될 수 있다.8

제3장: 파레토 최적: 배분 효율성의 이상

내쉬 균형이 전략적 상호작용의 '예측된 결과'를 다룬다면, 파레토 최적은 그 결과의 '효율성'을 평가하는 핵심적인 잣대이다. 이는 경제학에서 가장 기본적이고 널리 받아들여지는 효율성의 기준으로, 사회적 후생을 논의하는 출발점이 된다.

3.1 공식적 정의와 파레토 개선의 개념

이탈리아의 경제학자 빌프레도 파레토(Vilfredo Pareto)의 이름을 딴 파레토 최적(Pareto Optimality) 또는 **파레토 효율성(Pareto Efficiency)**이란, 어떤 자원 배분 상태에서 다른 구성원 누구에게도 손해를 끼치지 않고서는 특정 개인의 후생을 더 증가시키는 것이 불가능한 상태를 의미한다.9

이 개념을 이해하기 위해서는 **파레토 개선(Pareto Improvement)**이라는 개념을 먼저 알아야 한다. 파레토 개선이란, 현재의 자원 배분 상태를 변경하여 사회 구성원 중 누구의 후생도 감소시키지 않으면서 최소한 한 명 이상의 후생을 증가시키는 변화를 말한다.12 즉, '모두에게 이롭거나 최소한 손해는 없는' 변화이다. 파레토 최적은 더 이상 파레토 개선이 불가능한 상태로 정의된다.11 만약 어떤 상태에서 파레토 개선이 가능하다면, 그 상태는 명백히 비효율적인 자원 낭비를 포함하고 있는 셈이다.14 따라서 파레토 최적은 후생 경제학의 초석으로서, 경제적 효율성을 판단하는 최소한의 기준으로 기능한다.14

3.2 파레토 최적점의 다수성

파레토 최적의 중요한 특징 중 하나는, 유일한 하나의 최적점이 존재하는 것이 아니라 다수의 파레토 최적 상태가 존재할 수 있다는 점이다.10 극단적인 예를 들어, 사회의 모든 자원을 단 한 사람이 독점하고 나머지 사람들은 아무것도 갖지 못한 상태를 생각해보자. 이 상태는 극도로 불평등하지만, 정의상 파레토 최적이다. 왜냐하면 아무것도 갖지 못한 사람들의 후생을 증가시키기 위해서는 유일하게 자원을 가진 사람에게서 일부를 빼앗아야 하는데, 이는 그 사람의 후생을 감소시키는 행위이기 때문이다.

이처럼 파레토 최적 상태는 여러 개가 존재할 수 있으며, 파레토 기준 자체는 여러 최적 상태들 사이의 우열을 가려주지 못한다.10 (자원 99%, 1%)의 배분과 (자원 50%, 50%)의 배분이 모두 파레토 최적일 수 있으며, 어느 것이 더 '나은' 사회 상태인지는 파레토 효율성 개념만으로는 판단할 수 없다.

3.3 효율성과 공평성의 분리

파레토 최적 개념의 가장 중요한 한계는 효율성(efficiency)만을 다룰 뿐, 공평성(equity)이나 분배 정의의 문제에 대해서는 완전히 침묵한다는 점이다.11 앞서 본 자원 독점의 예처럼, 사회적으로 매우 바람직하지 않다고 여겨지는 극심한 불평등 상태도 파레토 효율적일 수 있다. 반대로, 보다 공평한 분배 상태가 오히려 파레토 비효율적일 수도 있다.

따라서 파레토 효율성은 자원 배분의 낭비 여부를 판단하는 기술적인 기준일 뿐, 그 배분이 사회적으로 정의로운지를 판단하는 도덕적 기준은 아니다. 공평성의 문제를 다루기 위해서는 사회 구성원들의 후생을 종합하여 사회 전체의 복지 수준을 나타내는 **사회후생함수(Social Welfare Function)**와 같은 별도의 분석 도구가 필요하다.11 부유세와 같은 소득 재분배 정책은 부유층의 후생을 감소시키므로 파레토 개선은 아니지만, 사회 전체의 공평성을 높인다는 다른 가치 판단에 근거하여 정당화될 수 있다.13

3.4 대표 사례 연구: 단순한 자원 배분 시나리오

파레토 최적의 개념을 직관적으로 이해하기 위해 두 사람이 라면 3개를 나누어 먹는 간단한 시나리오를 살펴보자.10 두 사람 모두 라면을 2개까지는 먹을수록 만족감(후생)이 증가하지만, 2개를 초과하면 배가 불러 오히려 만족감이 감소한다고 가정한다. 이때, (A의 라면, B의 라면)으로 배분 상태를 표시하면 다음과 같다.

• (1.5, 1.5): 파레토 최적. 여기서 A의 만족감을 높이려면 B의 라면을 가져와야 하므로 B의 만족감이 감소한다.
• (2, 1): 파레토 최적. 여기서 B의 만족감을 높이려면 A의 라면을 가져와야 하는데, A는 이미 2개로 최대 만족 상태이므로 라면이 줄면 만족감이 감소한다.
• (3, 0): 파레토 비최적. A는 라면이 너무 많아 만족감이 감소한 상태이고, B는 0개라 배고픈 상태이다. A의 라면 1개를 B에게 주어 (2, 1) 상태로 만들면, A의 만족감은 증가하고 B의 만족감도 증가한다. 이는 누구의 후생도 감소시키지 않으면서 모두의 후생을 증가시키는 명백한 '파레토 개선'이다.

이 예시는 파레토 최적이 반드시 균등 분배를 의미하지 않으며((1.5, 1.5)와 (2, 1) 모두 최적), 파레토 개선이 가능한 상태는 결코 최적이 될 수 없음을 명확히 보여준다. 이처럼 파레토 기준은 그 자체로 보수적이며 현상 유지 편향(status quo bias)을 내포한다. '아무도 손해 보지 않아야 한다'는 엄격한 조건은, 비록 총합적인 이득이 크더라도 일부에게 손실을 유발하는 대부분의 현실적 정책 변화를 정당화하기 어렵게 만든다. 이는 파레토 효율성이라는 기술적 개념이 기존의 자원 분배 상태를 옹호하는 이데올로기적 도구로 사용될 수 있음을 시사한다.13

제4장: 결정적 불일치: 내쉬 균형이 파레토 최적이 아닐 때

지금까지 살펴본 두 개념, 즉 개인의 합리성이 이끄는 안정점인 '내쉬 균형'과 집단의 효율성을 평가하는 기준인 '파레토 최적'은 종종 서로 다른 결과를 지향한다. 이 둘의 불일치는 전략적 상호작용에서 발생하는 수많은 사회적 딜레마의 근원을 설명하는 이 보고서의 분석적 핵심이다.

4.1 죄수의 딜레마 재조명: 갈등의 원형

이 불일치를 가장 명확하게 보여주는 사례는 앞서 다룬 죄수의 딜레마이다. 이 게임의 내쉬 균형은 두 죄수 모두 서로를 배신하여 '자백'하는 (자백, 자백) 상태이며, 결과적으로 둘 다 5년의 징역형을 받는다.6

하지만 이 결과를 파레토 효율성의 관점에서 평가해 보자. 만약 두 죄수가 서로 협력하여 둘 다 '침묵'했다면, 각각 1년의 징역형만 받았을 것이다. (자백, 자백) 상태에서 (침묵, 침묵) 상태로 이동하는 것은 두 죄수 모두의 후생을 명백하게 증가시키는(5년형 -> 1년형) 파레토 개선이다. 따라서 (자백, 자백)이라는 내쉬 균형은 파레토 최적이 아닌, 파레토 비효율적인(Pareto Inefficient) 상태이다.6 반면, (침묵, 침묵) 결과는 더 이상의 파레토 개선이 불가능하므로 파레토 최적 상태 중 하나이다.

이처럼 죄수의 딜레마는 합리적인 개인들이 각자의 이익을 추구한 결과가 모두에게 더 나쁜, 집단적으로 비합리적인 결과로 귀결될 수 있음을 극적으로 보여준다.

4.2 핵심 갈등의 분석: 개인적 유인 대 집단적 후생

내쉬 균형과 파레토 최적의 괴리는 두 개념의 정의에서 비롯된다. 내쉬 균형은 개인적(individual) 안정성에 초점을 맞춘다. 즉, 다른 사람의 행동이 고정되어 있을 때 나 혼자 행동을 바꿀 유인이 있는지를 따진다. 반면, 파레토 최적은 집단적(collective) 개선 가능성을 기준으로 한다. 즉, 모든 구성원이 함께 행동을 바꿈으로써 모두가 이득을 볼 수 있는지를 따진다.

죄수의 딜레마에서 (자백, 자백) 상태에 있는 죄수는 상대방이 계속 자백할 것이라고 예상하는 한, 자신만 침묵으로 바꿀 개인적 유인이 없다. 그렇게 하면 자신만 10년형을 받는 최악의 결과를 맞기 때문이다. 그러나 두 죄수가 함께 침묵하기로 약속하고 이를 지킬 수 있다면, 즉 집단적 행동이 가능하다면 둘 다 더 나은 결과를 얻을 수 있다. 결국 문제는 경기자들이 비합리적이어서가 아니라, 그들이 처한 게임의 구조가 개인의 합리적 선택과 집단의 최적 결과를 서로 어긋나게 만들기 때문에 발생한다.

4.3 비최적 균형을 초래하는 핵심 요인

이러한 개인과 집단 간의 합리성 충돌을 유발하고 비효율적인 내쉬 균형을 고착시키는 주요 요인들은 다음과 같다.

• 소통의 부재와 구속력 있는 합의의 불가능성: 죄수의 딜레마의 핵심 설정은 두 용의자가 서로 격리되어 의사소통이나 협조가 불가능하다는 점이다.5 설령 사전에 '함께 침묵하자'고 약속했더라도, 취조실에 들어서는 순간 그 약속을 강제할 수단이 없기 때문에 배신할 유인이 생긴다. 신뢰할 수 있는 계약이나 강제 장치가 없다면 협력은 유지되기 어렵다.
• 1회성 게임 대 반복 게임: 고전적인 죄수의 딜레마는 단 한 번만 진행되는 **1회성 게임(One-shot Game)**을 가정한다.5 만약 이 게임이 무한히 반복된다면 상황은 달라질 수 있다. 미래의 지속적인 협력을 통해 얻을 장기적 이익이 배신을 통한 단기적 이익보다 커질 수 있기 때문이다. 이 경우 '눈에는 눈, 이에는 이(Tit-for-Tat)'와 같이 상대방의 행동을 따라 하는 조건부 협력 전략이 내쉬 균형이 될 수 있으며, 이는 파레토 개선을 이끌어낼 수 있다.1
• 다자간 유사 상황으로서의 '공유지의 비극': 환경 규제와 관련하여 언급되는 '공유지의 비극(Tragedy of the Commons)'은 본질적으로 다수의 경기자가 참여하는 죄수의 딜레마이다.6 공유 목초지에서 각 목동은 소를 한 마리 더 방목함으로써 개인적 이득을 얻는다. 그러나 모든 목동이 이처럼 행동하면 목초지는 황폐화되어 결국 모두가 손해를 보는 파레토 비효율적인 내쉬 균형에 도달한다.

이러한 분석은 '시장 실패'나 '사회적 딜레마'가 예외적인 현상이 아니라, 개인의 유인과 집단의 목표가 일치하지 않는 전략적 구조에서 필연적으로 발생하는 예측 가능한 결과임을 보여준다. 따라서 효율적인 사회적 결과를 달성하기 위해서는 단순히 개별 주체들의 선의나 합리성에 기댈 것이 아니라, 계약, 법률, 규제, 국제 조약과 같은 제도적 장치를 통해 게임의 규칙 자체를 바꾸고 개인의 유인을 집단의 이익과 일치시키려는 노력이 필수적이다.

제5장: 현실 세계의 적용과 함의

내쉬 균형과 파레토 최적이라는 추상적인 개념은 단순한 이론적 구성물에 그치지 않는다. 이들은 경영, 정치, 사회 전반에서 나타나는 복잡한 현상의 이면에 숨겨진 전략적 논리를 파헤치는 강력한 분석의 렌즈를 제공한다.

5.1 미시경제학적 적용: 기업의 전략

소수의 기업이 경쟁하는 과점(Oligopoly) 시장은 내쉬 균형 개념의 고전적인 적용 분야이다. 꾸르노(Cournot) 모형에서 기업들은 경쟁사의 생산량을 예상하고 자신의 최적 생산량을 결정하는데, 그 결과로 나타나는 시장 균형은 내쉬 균형의 한 형태이다.5 이 균형 상태에서 가격은 완전경쟁시장보다 높고 생산량은 적어, 사회 전체적으로는 파레토 비효율적인 경우가 많다. 광고 전쟁이나 기술 개발 경쟁 역시 마찬가지다. 모든 기업이 광고비를 줄이기로 합의하면 모두의 이윤이 늘어나는 파레토 개선이 가능하지만, 각 기업은 경쟁사를 이기기 위해 광고비를 더 지출할 개인적 유인을 갖는다. 이는 결국 모두가 막대한 광고비를 지출하고도 시장 점유율은 그대로인, 비효율적인 내쉬 균형으로 이어진다. 석유수출국기구(OPEC)의 감산 합의는 이러한 딜레마에서 벗어나 협조를 통해 유가를 인상하려는 현실 세계의 시도라고 볼 수 있다.21

5.2 거시경제 및 정치학적 적용: 국가의 전략

국제 관계는 게임 이론적 딜레마로 가득 차 있다. 냉전 시대 미국과 소련의 군비 경쟁은 전형적인 죄수의 딜레마였다. 두 강대국 모두 막대한 핵무기를 만들지 않는 것이 국가 안보와 경제적 측면에서 더 나은(파레토 우위의) 결과였지만, 상대방의 잠재적 공격에 대비해야 한다는 논리 아래 각자에게 최선의 전략은 군비를 증강하는 것이었다. 그 결과는 상호확증파괴(MAD)라는 불안정한 내쉬 균형이었다.21 마찬가지로, 국제 무역 협상이나 기후 변화 대응을 위한 국제 협약 역시 각국의 딜레마를 보여준다.22 모든 국가가 협력하여 관세를 철폐하거나 탄소 배출을 줄이면 전 지구적으로 파레토 개선을 이룰 수 있지만, 각 국가는 자국 산업을 보호하거나 비용 부담을 회피하려는 '무임승차(free-riding)'의 유혹에 직면한다.

5.3 공공 정책과 규제

파레토 기준은 공공 정책 분석, 특히 비용-편익 분석이나 환경 규제 수립 과정에서 중요한 지침 원칙으로 활용된다.22 어떤 정책의 이득을 보는 집단이 손해를 보는 집단에게 충분히 보상하고도 남는 이익이 있을 경우, 그 정책은 **잠재적 파레토 개선(Potential Pareto Improvement)**을 달성했다고 보며, 이를 **칼도-힉스 기준(Kaldor-Hicks criterion)**이라고 한다.19 이 틀은 조세 정책의 설계부터 한정된 의료 자원의 배분 문제에 이르기까지 다양한 정책의 사회적 바람직함을 평가하는 데 사용된다.22 이처럼 내쉬 균형과 파레토 최적의 틀은 현재 상태가 비효율적인 내쉬 균형인지, 정책 개입을 통해 파레토 개선을 이룰 수 있는지를 진단하게 함으로써, 단순한 현상 관찰을 넘어 그 현상을 만들어내는 근본적인 유인 구조를 이해하고 전략적 개입의 로드맵을 구상하게 하는 실용적 가치를 지닌다.

제6장: 심화 관점과 비판

고전적인 내쉬 균형과 파레토 최적 모델은 강력한 분석 도구이지만, 현실 세계의 복잡성을 모두 담아내기에는 한계가 있다. 진정한 전문가적 이해는 이러한 이론의 한계를 인식하고, 이를 보완하기 위해 발전된 심화 이론들을 비판적으로 고찰하는 데서 완성된다.

6.1 내쉬 균형의 정교화

게임이 순차적으로 진행되는 경우(예: 체스), 여러 개의 내쉬 균형이 존재할 수 있다. 이 중 일부는 현실적으로 실행될 가능성이 없는 '믿을 수 없는 위협(non-credible threat)'에 기반한 비합리적인 균형일 수 있다. 이러한 문제를 해결하기 위해 **부분게임 완전 내쉬 균형(Subgame Perfect Nash Equilibrium)**과 같은 '정교화(refinement)'된 개념들이 개발되었다.1 이는 전체 게임의 모든 부분게임(subgame)에서도 내쉬 균형이 되는, 보다 엄격한 조건의 균형만을 해로 인정함으로써 비현실적인 균형을 걸러내고 예측의 정확성을 높인다. 이는 기본 내쉬 균형이 분석의 출발점이며, 더 복잡한 전략적 상황을 다루기 위한 진보된 도구들이 존재함을 보여준다.

6.2 파레토 기준의 한계

앞서 논의했듯이, 파레토 기준의 근본적인 약점은 공평성 문제에 대한 침묵 17과 현상 유지 편향 13이다. 또한 서로 다른 파레토 최적 상태 간의 우열을 비교할 수 없다는 점도 명백한 한계이다.10 이로 인해 사회적으로 가장 시급한 문제들, 예컨대 소득 불평등 해소나 부의 재분배와 같이 본질적으로 누군가의 손실을 전제하는 정책 이슈에 대해 파레토 기준은 거의 아무런 지침도 제공하지 못한다.

6.3 차선의 이론

**차선의 이론(Theory of the Second Best)**은 효율성 원칙의 순진한 적용에 대한 심오한 비판을 제기한다.24 이 이론에 따르면, 현실 경제와 같이 여러 부문에서 파레토 최적 조건이 동시에 깨져 있는(즉, 여러 시장 왜곡이 존재하는) 상황에서, 그중 단 하나의 왜곡을 시정한다고 해서 사회 전체의 후생이 반드시 더 나아진다는 보장은 없다. 오히려 상황을 더 악화시킬 수도 있다. 예를 들어, 독점과 관세라는 두 가지 왜곡이 존재하는 경제에서 자유무역이라는 이상에 한 걸음 다가서기 위해 관세만 철폐할 경우, 독점의 폐해가 더 커져 전체적인 효율성은 오히려 감소할 수 있다.24 이는 복잡하고 불완전한 현실 세계에서 점진적인 파레토 개선을 추구하는 것이 얼마나 어려운 과제인지를 경고하는 중요한 이론이다.

6.4 행동 게임 이론: 완전한 합리성에 대한 도전

내쉬 균형과 파레토 최적 개념은 모두 인간이 완벽하게 이기적이고 합리적으로 행동한다는 가정에 깊이 의존한다.5 그러나 **행동 경제학(Behavioral Economics)**의 연구들은 실제 인간이 공정성, 상호성, 신뢰와 같은 사회적 선호나 다양한 인지적 편향에 의해 영향을 받으며, 항상 이론이 예측하는 '합리적' 전략을 선택하지는 않음을 보여주었다. 이는 게임 이론을 무효화하는 것이 아니라, 오히려 그것을 더욱 풍부하게 만든다. 실제 인간의 보수 함수에는 금전적 이득뿐만 아니라 공정함에 대한 만족감이나 불공정함에 대한 분노와 같은 심리적 요인도 포함되어야 함을 시사하기 때문이다. 이는 사람들이 1회성 죄수의 딜레마 게임에서도 좁은 의미의 사적 이익에 반하여 종종 협력하는 이유를 설명하는 데 도움을 준다. 이처럼 고전 이론에 대한 비판과 대안적 접근들은 이 분야가 정체된 것이 아니라, 현실을 더 정교하게 설명하기 위해 끊임없이 진화하고 있음을 보여준다.

결론

본 보고서는 전략적 상호작용을 분석하는 두 개의 축, '내쉬 균형'과 '파레토 최적'을 심층적으로 탐구했다. 분석을 통해 내쉬 균형은 개인의 합리성에 기반하여 안정적으로 예측되는 결과를 설명하는 실증적 틀이며, 파레토 최적은 그 결과의 집단적 효율성을 평가하는 규범적 잣대임을 확인했다.

이 보고서의 가장 핵심적인 발견은, 이 두 개념 사이의 간극이 이론의 실패가 아니라 오히려 이론이 주는 가장 중요한 통찰이라는 점이다. 개인적으로는 합리적인 선택이 집단적으로는 비효율적인 결과로 귀결되는 현상, 즉 내쉬 균형이 파레토 최적에 이르지 못하는 이 괴리는 우리 사회가 직면한 수많은 딜레마의 형식적 표현이다. 이는 기업들의 출혈 경쟁, 국가 간의 군비 경쟁, 그리고 환경 파괴와 같은 문제들이 왜 쉽게 해결되지 않는지에 대한 근본적인 설명을 제공한다.

궁극적으로, 이 간극을 이해하는 것은 개인의 합리성과 집단의 번영 사이의 균형을 맞추기 위한 첫걸음이다. 이는 우리에게 왜 법률, 제도, 국제 규범과 같은 '게임의 규칙'이 필요한지를 명확히 보여준다. 이러한 장치들은 단순히 개인의 행동을 제약하는 것이 아니라, 개인의 유인을 공동체의 이익과 일치시켜 더 나은 균형, 즉 파레토 개선을 향해 나아가도록 설계된 사회적 발명품이다. 따라서 내쉬 균형과 파레토 최적의 관계를 이해하는 것은 복잡한 현대 사회의 전략적 현실을 탐색하고, 개인적으로 합리적인 것과 집단적으로 최선인 것 사이의 간극을 성공적으로 메우는 정책과 제도를 설계하는 데 필수적인 지적 토대를 제공한다.

참고 자료

1. 게임이론의 짧은 역사와 주요 개념, 10월 9, 2025에 액세스, https://knougametheory.github.io/Lecture_Notes/docs/game/lec_1/
2. [경제학원론] 게임이론·죄수의 딜레마·내쉬균형, 10월 9, 2025에 액세스, https://night-traveler.tistory.com/98
3. 왜 그들은 자백을 했을까? | 경제로 세상 읽기 | KDI 경제교육·정보센터, 10월 9, 2025에 액세스, https://eiec.kdi.re.kr/material/pageoneView.do?idx=1772
4. 게임 이론 - 위키백과, 우리 모두의 백과사전, 10월 9, 2025에 액세스, https://ko.wikipedia.org/wiki/%EA%B2%8C%EC%9E%84_%EC%9D%B4%EB%A1%A0
5. 게임이론, 10월 9, 2025에 액세스, http://contents.kocw.net/KOCW/document/2014/Chosun/parksunghoon/11.pdf
6. 내시 균형 - 위키백과, 우리 모두의 백과사전, 10월 9, 2025에 액세스, https://ko.wikipedia.org/wiki/%EB%82%B4%EC%8B%9C_%EA%B7%A0%ED%98%95
7. 게임이론 - (5) 혼합전략과 행동전략 - grigori, 10월 9, 2025에 액세스, https://grigori.tistory.com/12
8. 게임 이론 - 나무위키, 10월 9, 2025에 액세스, https://namu.wiki/w/%EA%B2%8C%EC%9E%84%20%EC%9D%B4%EB%A1%A0
9. ko.wikipedia.org, 10월 9, 2025에 액세스, https://ko.wikipedia.org/wiki/%ED%8C%8C%EB%A0%88%ED%86%A0_%EC%B5%9C%EC%A0%81#:~:text=%EA%B7%B8%EB%8A%94%20%EA%B2%BD%EC%A0%9C%EC%A0%81%20%ED%9A%A8%EC%9C%A8%EC%84%B1%EA%B3%BC%20%EC%88%98%EC%9E%85,'%ED%8C%8C%EB%A0%88%ED%86%A0%20%ED%9A%A8%EC%9C%A8%EC%A0%81'%EC%9D%B4%EB%9D%BC%EA%B3%A0%20%ED%95%9C%EB%8B%A4.
10. 파레토 효율성 (r20 판) - 나무위키, 10월 9, 2025에 액세스, https://namu.wiki/w/%ED%8C%8C%EB%A0%88%ED%86%A0%20%ED%9A%A8%EC%9C%A8%EC%84%B1?uuid=2ea3a261-c9dd-47df-abf8-df886b6b88de
11. 파레토 효율성 - 나무위키, 10월 9, 2025에 액세스, https://namu.wiki/w/%ED%8C%8C%EB%A0%88%ED%86%A0%20%ED%9A%A8%EC%9C%A8%EC%84%B1
12. 파레토개선(Pareto Improvement) - 시사경제용어사전, 10월 9, 2025에 액세스, https://www.moef.go.kr/sisa/dictionary/detail?idx=2711
13. 부유세와 파레토 효율 그리고 부의 기원 - 새로운사회를여는연구원, 10월 9, 2025에 액세스, https://saesayon.org/2010/08/28/10158/
14. 자원배분의 효율성 | click 경제교육, 10월 9, 2025에 액세스, https://eiec.kdi.re.kr/material/clickView.do?click_yymm=201512&cidx=1459
15. eiec.kdi.re.kr, 10월 9, 2025에 액세스, https://eiec.kdi.re.kr/material/clickView.do?click_yymm=201512&cidx=1459#:~:text=%EA%B2%BD%EC%A0%9C%EC%A0%81%20%ED%9A%A8%EC%9C%A8%EC%84%B1%EC%9D%98%20%EA%B8%B0%EC%A4%80%EC%9D%80,%EB%8D%94%20%EC%9A%B0%EC%9B%94'%ED%95%98%EB%8B%A4%EA%B3%A0%20%ED%8C%90%EC%A0%95%ED%96%88%EB%8B%A4.
16. 파레토 최적 - 위키백과, 우리 모두의 백과사전, 10월 9, 2025에 액세스, https://ko.wikipedia.org/wiki/%ED%8C%8C%EB%A0%88%ED%86%A0_%EC%B5%9C%EC%A0%81
17. 파레토 최적성: 최적의 결과를 위한 균형 균형 - FasterCapital, 10월 9, 2025에 액세스, https://fastercapital.com/ko/content/%ED%8C%8C%EB%A0%88%ED%86%A0-%EC%B5%9C%EC%A0%81%EC%84%B1--%EC%B5%9C%EC%A0%81%EC%9D%98-%EA%B2%B0%EA%B3%BC%EB%A5%BC-%EC%9C%84%ED%95%9C-%EA%B7%A0%ED%98%95-%EA%B7%A0%ED%98%95.html
18. 파레토 최적과 파레토 개선 - 철학적 용어 및 개념 - Daum 카페, 10월 9, 2025에 액세스, https://cafe.daum.net/cafe8830/Ev8/3
19. 제17장 후생경제학, 10월 9, 2025에 액세스, http://contents.kocw.or.kr/contents4/document/lec/2013/Konkuk/Leegiseong1/8.pdf
20. [매경시평] 파레토 최적을 흔드는 선심공약을 심판하자 - 매일경제, 10월 9, 2025에 액세스, https://www.mk.co.kr/news/contributors/7797211
21. 내시 균형: 반복된 죄수의 딜레마에서 안정성 달성 - FasterCapital, 10월 9, 2025에 액세스, https://fastercapital.com/ko/content/%EB%82%B4%EC%8B%9C-%EA%B7%A0%ED%98%95--%EB%B0%98%EB%B3%B5%EB%90%9C-%EC%A3%84%EC%88%98%EC%9D%98-%EB%94%9C%EB%A0%88%EB%A7%88%EC%97%90%EC%84%9C-%EC%95%88%EC%A0%95%EC%84%B1-%EB%8B%AC%EC%84%B1.html
22. 애로우의 불가능성 정리로 파레토 효율성 이해하기 - FasterCapital, 10월 9, 2025에 액세스, https://fastercapital.com/ko/content/%EC%95%A0%EB%A1%9C%EC%9A%B0%EC%9D%98-%EB%B6%88%EA%B0%80%EB%8A%A5%EC%84%B1-%EC%A0%95%EB%A6%AC%EB%A1%9C-%ED%8C%8C%EB%A0%88%ED%86%A0-%ED%9A%A8%EC%9C%A8%EC%84%B1-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0.html
23. 2016 LMS 행정학질문게시판 파레토 최적과 파레토 최적 기준 질문 - 카스파, 10월 9, 2025에 액세스, https://kaspa.co.kr/gnu/bbs/board.php?bo_table=consult&wr_id=61235
24. 차선의 문제 [2015학년도 LEET/경제학] - 단아한섭동 - 티스토리, 10월 9, 2025에 액세스, https://gosamy.tistory.com/174