[허성원 변리사 칼럼]#197 AI 대부 제프리 힌튼 교수의 경고

AI 대부 제프리 힌튼 교수의 경고

 

오픈AI사의 CEO 샘 올트먼은 2025년 6월 11일 자신의 블로그에 '온화한 특이점(The Gentle Singularity)' 이라는 글을 게시하였다. 그는 이 글에서 인공지능, 특히 초지능의 미래를 대단히 낙관적으로 전망하며, 과학 발전 및 생산성 향상, 나아가 삶의 질이 현저히 개선될 것이라는 희망적인 비전을 제시하였다. 샘 올트먼의 이러한 견해에 대해서는 얼마 전에 칼럼과 팟캐스트를 통해 다루었던 바 있다. 

그러나 그로부터 불과 며칠 후, '인공지능의 대부'라 불리는 제프리 힌튼(Geoffrey Hinton) 교수는 올트먼의 비전과는 극명하게 상반되는 AI의 심각한 위험성을 경고하며 개발자와 사회 전체에 경각심을 촉구하였다. 그의 경고는 2025년 6월 16일, 유명 유튜브 채널 'The Diary Of A CEO'와의 인터뷰에서 AI의 윤리, 미래, 인류의 운명 등에 대해 심도 깊은 논의를 진행하는 과정에서 나왔다.

AI라는 하나의 새로운 물결을 두고, 샘 올트먼이 낙관주의적 선동가의 모습을 보이고 있다면, 힌튼 교수는 비관주의적 예지자로서 행동하고 있는 셈이다. 낙관론이든 비관론이든 어느 한쪽을 전적으로 신뢰하기는 어렵다. 각자의 관점에서는 모두 지극히 타당하다. 우리는 그저 그들의 주장에서 AI 시대가 위기와 기회가 혼재된 매우 복잡한 파도에 직면해 있다는 것을 어렴풋이 느낄 뿐이다.

샘 올트먼은 챗GPT를 개발한 오픈AI의 대표로서 잘 알려져 있지만, 제프리 힌튼 교수는 비교적 덜 알려져 있다. 힌튼 교수는 카네기 멜론 대학교와 토론토 대학교 등에서 딥러닝 및 신경망 연구에 지대한 업적을 남겼고, 이로 인해 '딥러닝의 아버지' 또는 'AI의 대부'라는 별칭을 얻었다. 2018년 튜링상과 2024년 노벨 물리학상 수상 경력은 AI 분야에서 그의 독보적인 지위를 웅변으로 증명한다. 그는 2013년부터 '구글 브레인'에서 AI 연구를 총괄하였으나, 그 과정에 AI의 위험성을 절감하고 AI 기술의 무분별한 경쟁, 오남용, 윤리 문제 등에 대해 자유롭게 경고하기 위해 개인적인 책임감으로 2023년 구글을 떠났다.

이제 'AI의 대부'라 불리는 제프리 힌튼 교수는 자신이 심혈을 다하여 육성해온 AI에 대한 위험 경고의 예언자가 되어 황야에서 외치고 있다. 우리가 그의 말에 진지하게 귀 기울여야 하는 이유는 그 누구보다도 AI 기술의 본질을 가장 깊이 이해하고 있는 사람이 바로 그이기 때문이다. 그는 사실상 AI 혁신가로서 자신의 성과가 가져올 위협에 대한 도덕적 함의와 책임감에 짓눌려 양심과 철학에서 우러나오는 목소리로 경고를 외치고 있다. 그의 경고 내용을 자세히 살펴보자.

먼저 힌튼 교수는 AI의 위험성을 설명하며 종종 이런 비유를 들었다. "최고 지능이 아닌 존재가 되면 어떤 기분일지 알고 싶다면, 닭에게 물어보라(If you want to know what it's like not to be the apex intelligence, ask a chicken)." 닭은 인간이 만들어 놓은 세계 속에서 인간의 통제를 받으며 살아가지만, 인간이 자신보다 훨씬 더 똑똑하다는 사실을 인식하지 못한다. 따라서 자신이 속한 세상에서 벌어지는 인간의 고차원적 사고나 계획, 예를 들어 자신들을 계속 사육할지 혹은 도살할지조차 닭은 결코 이해할 수가 없다.

힌튼 교수가 우려하며 경고하고자 하는 것이 바로 이 점이다. AI는 스스로 학습하고 사고하며 행동하면서 머잖아 모든 면에서 인간을 능가하게 되고 인간의 사고나 이해의 범위를 넘어서게 될 것이다. 그러면 우리는 AI가 생각하고 행동하는 것을 이해하거나 통제할 수 없게 된다. 그때에는 인간이 닭을 마음대로 처분하듯, AI도 인간의 운명을 사실상 좌지우지할 수 있게 될 것이다. 인간은 AI의 의지에 따라 움직이는 그저 피동적인 존재로 전락하여 AI에 의해 지배당하게 되며, AI는 인간을 사육하거나 필요하다면 도태시킬 수도 있다는 말이다.

실제로 힌튼 교수는 AI가 인류를 멸종시킬 확률을 약 10~20%로 추정한다. AI가 통제 불능이 되거나 인간을 필요로 하지 않게 될 때, 소위 '실존적 위험(existential risk)'이 발생할 수 있다고 말한다. '실존적 위험'이란 인류가 멸종하거나, 영구적으로 회복 불가능한 상태에 빠지는 등과 같이, 미래 세대까지 영향을 미치는 치명적인 위협을 가리킨다. 인류가 완전히 사라지는 상황까지는 아니더라도, 핵전쟁, 치명적 전염병 등으로 문명이 다시 회복할 수 없는 정도로 붕괴된 상태가 닥칠 수 있다. 또는 전체주의 등 극도로 바람직하지 않은 사회 체계가 영구적으로 고착되는 디스토피아 상태도 이에 해당한다.

이처럼 AI가 인간의 지적 능력을 현저히 초월하는 초지능 시대가 가져올 위험도 가공할 만하지만, 그 이전에 인간에 의해 AI가 오용되었을 때의 위험은 훨씬 더 현실적이다. 힌튼 교수는 여러 가지 주요 위협을 예로 들었다. 우선 AI가 지적 노동을 대체하면서 실업과 소득 격차가 심화되고 사회적 혼란을 야기할 우려가 있다. 그리고 AI를 이용한 피싱이나 음성 및 이미지를 복제한 사이버 범죄는 매우 쉬워질 것이며, 맞춤형 정치 광고 등을 통한 선거 조작, 사용자의 선호와 편견을 강화하여 사회적 분열을 심화시키는 에코 챔버(반향실 효과) 역시 사회 파괴적인 결과를 낳을 수 있다. 무엇보다도 테러 집단이나 국가가 AI를 활용해 바이러스를 만들거나 치명적인 자율형 살상 무기를 개발할 수 있다는 점이 무엇보다 큰 위협이라고 하였다.

이러한 엄청난 위협이 예상됨에도 불구하고, 힌튼 교수는 AI 개발을 억제하는 것은 현실적으로 매우 어렵다고 본다. 여기에는 국가 및 기업 간의 무한 경쟁이 가장 큰 문제로 작용한다. AI 기술이 이미 경제성장과 국가 경쟁력의 핵심 요소로 자리 잡은 만큼, 다들 뒤처질 수 없다는 절박함에 속도를 늦추기 어려운 상황이다. 또한 기술 발전이 이미 가속화되어 기하급수적인 속도 폭주하고 있어 통제의 실효성, 규제의 기술적 한계, 국제적 협력의 곤란성 등이 실질적인 난제라고 지목한다.

그럼에도 힌튼 교수는 희망을 버리지 않고 AI 안전을 위한 노력을 역설하고 있다. AI 안전 연구가 기업의 자율성만으로는 결코 충분히 이루어질 수 없다고 보고, 정부가 기업들에게 AI 안전 연구에 더 많은 자원을 투입하도록 의무화해야 한다고 제안하면서, 동시에 AI 위협은 국경을 넘는 문제이므로, 냉전 시기 핵전쟁을 막기 위해 협력했듯이, 국제사회가 함께 AI 안전을 위한 협력 체계를 구축해야 한다고 강조하고 있다. 그리고 AI의 통제 가능성에 대한 실증적 연구 강화, 대기업의 이윤 추구 견제, 그리고 초지능 AI 개발 금지 시도 등의 노력이 필요하다고 말한다. 하지만 힌튼의 이러한 외침은 어쩐지 공허하게 들린다. 

역사적으로 보았을 때, 항상 진정으로 위험한 것은 실패한 기술이 아니라 지나치게 성공한 기술이다. 다이너마이트와 핵폭탄 등이 그러했다. 그러니 진정한 혁신가라면 단순히 기술적 성취에만 몰두할 것이 아니라, 그 성공이 미래 인류에게 미칠 영향에 대한 도덕적 성찰과 책임감을 동시에 가져야 한다. 지금 제프리 힌튼 교수가 그런 심대한 고뇌에 빠져 있다. 그가 마주한 고뇌는 알프레드 노벨이나 오펜하이머가 겪었던 것과 결코 다르지 않을 것이다.

**
<팟캐스트>

https://www.podbbang.com/channels/1792510/episodes/25145778?ucode=L-JCCOyQkB