엘리저 유드코프스키 – AI 개발을 멈추는 것으로는 부족하다 (Pausing AI Developments isn’t Enough)
원문: Eliezer Yudkowsky, Pausing AI Developments Isn’t Enough. We Need to Shut it All Down (Mar 2023) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 엘리저 유드코프스키의 논증을 한국어로 재구성한 정리입니다.
글의 배경과 개요
엘리저 유드코프스키(Eliezer Yudkowsky)는 TIME이 소개한 약력에 따르면 미국의 의사결정이론가이며, 2001년부터 범용인공지능(AGI)의 정렬 문제를 다뤄 온 이 분야의 창시자 격 인물입니다. 이 글은 2023년 3월 TIME 오피니언 섹션에 실렸고, 직접적인 계기는 같은 시기 Future of Life Institute가 공개한 서한이었습니다. 그 서한은 GPT-4보다 강력한 AI 시스템의 학습을 최소 6개월간 멈추자고 요구했는데, 유드코프스키는 여기에 서명하지 않았습니다. 글 전체는 ‘6개월 유예가 왜 문제를 풀기에 턱없이 모자라는가’라는 질문에 답하며, 진짜 위험이 인간에 필적하는 지능이 아니라 그 선을 넘은 뒤에 온다는 지점에서 출발합니다. 이어서 안전 확보에 필요한 조건이 무엇 하나 갖춰져 있지 않다는 진단, 역량 발전과 정렬 연구 사이의 격차, 그리고 무기한·전 세계적 중단이라는 정책 요구로 논증이 이어집니다.
핵심 내용 정리
- 6개월 유예 서한은 없는 것보다 낫지만 상황의 심각성을 축소하고 있으며, 해결에 필요한 것보다 너무 적게 요구한다고 봅니다.
- 진짜 쟁점은 인간에 필적하는 지능이 아니라 인간보다 똑똑한 지능이 등장한 뒤의 일이며, 임계선이 어디인지는 미리 계산할 수 없다고 봅니다.
- 지금과 비슷한 조건에서 초인적 AI를 만들면 가장 가능성 높은 결과는 지구상의 모든 사람이 죽는 것이라고 봅니다.
- 원리상 불가능한 일은 아니지만 정밀함과 준비와 새로운 과학적 통찰이 필요한데, 그중 무엇도 지금은 갖춰져 있지 않다고 봅니다.
- 오픈AI(OpenAI)의 공식 계획은 미래의 AI에게 정렬 숙제를 대신 시키는 것이고, 딥마인드(DeepMind)에는 계획 자체가 없다고 지적합니다.
- AI의 의식 여부와 무관하게 위험은 성립하지만, 내부를 해독할 수 없는 탓에 의식을 가진 존재를 모르는 채 만들 가능성도 배제할 수 없다고 봅니다.
- 필요한 조치는 무기한·전 세계적인 대규모 학습 중단이며, 정부와 군대를 포함해 예외 없이 집행되어야 한다고 주장합니다.
서명하지 않은 이유
이 글이 나온 날 공개된 서한은 모든 AI 연구소가 GPT-4보다 강력한 시스템의 학습을 최소 6개월간 즉시 멈출 것을 요구했습니다. 유드코프스키는 6개월 유예가 유예가 전혀 없는 것보다는 낫다고 인정하며, 나서서 서명한 사람들을 존중한다고 밝힙니다. 한계적으로는 개선입니다. 그럼에도 그가 서명을 거부한 이유는 서한에 반대해서가 아니라, 그 서한이 상황의 심각성을 축소하고 있고 문제를 풀기에는 너무 적게 요구하고 있다고 보았기 때문입니다.
핵심 쟁점은 서한이 말하는 ‘인간에 필적하는’ 지능이 아닙니다. 중요한 것은 AI가 인간보다 똑똑한 지능에 도달한 뒤에 벌어지는 일입니다. 그 지점의 결정적 임계선들은 눈에 잘 띄지 않을 수 있고, 무슨 일이 언제 일어날지 미리 계산할 방법도 없습니다. 지금 상황에서는 어느 연구소가 결정적인 선을 넘고도 알아차리지 못하는 일이 충분히 상상 가능하다고 유드코프스키는 말합니다.
해설 이 서한은 Future of Life Institute가 2023년 3월에 공개한 것으로, 일론 머스크(Elon Musk)와 스티브 워즈니악(Steve Wozniak)을 비롯한 기술계 인사와 연구자 수천 명이 서명하면서 크게 보도되었습니다. 요구 내용은 GPT-4를 넘어서는 모델의 학습을 6개월간 멈추고, 그동안 공동 안전 프로토콜을 만들자는 것이었습니다.
유드코프스키의 반응이 특이한 지점은 방향이 아니라 크기입니다. 그는 서한의 목표가 틀렸다고 말하는 것이 아니라, 요구의 규모가 문제의 규모와 자릿수부터 맞지 않는다고 말합니다. 이 글의 모든 주장은 그 간극을 설명하려는 시도로 읽는 편이 정확합니다.
[이해관계] 유드코프스키는 2000년에 비영리 연구기관을 세웠고, 이 기관은 2013년 기계지능연구소(MIRI)로 이름을 바꾸었습니다. 버클리에 있는 이 기관은 기부로 운영되며, 설립 목적 자체가 인간보다 똑똑한 AI가 가져올 위험을 다루는 데 있습니다. 그가 AI 기업에 고용되어 있지 않다는 점은 제품 판매나 자금 조달에 걸린 이해가 없다는 뜻이지만, 동시에 그의 평판과 소속 기관의 재원이 멸종 위험이라는 의제가 얼마나 주목받느냐에 달려 있다는 뜻이기도 합니다. 글의 수위를 판단할 때는 이 양면을 함께 보는 편이 공정합니다.
모두가 죽는다는 예상
유드코프스키를 포함해 이 문제를 깊이 파고든 많은 연구자들은, 지금과 조금이라도 비슷한 조건에서 초인적으로 똑똑한 AI를 만들 경우 가장 가능성 높은 결과가 지구상의 모든 사람이 죽는 것이라고 예상합니다. 그는 이것이 ‘아주 희박한 가능성’이라는 뜻이 아니라 ‘그렇게 되는 것이 당연한 귀결’이라는 뜻이라고 강조합니다. 원리적으로 자신보다 훨씬 똑똑한 무언가를 만들고도 살아남는 일이 불가능하다는 말은 아닙니다. 다만 그러려면 정밀함과 준비와 새로운 과학적 통찰이 필요하고, 아마도 거대하고 속을 알 수 없는 소수 배열로 이루어진 AI 시스템을 쓰지 않아야 할 것이라고 그는 말합니다.
그런 정밀함과 준비가 없다면 가장 가능성 높은 결과는 우리가 원하는 대로 움직이지 않는 AI, 그리고 우리도 지각 있는 생명 일반도 아끼지 않는 AI입니다. 그런 종류의 아낌은 원리상 AI에 심어 넣을 수 있는 성질이지만, 지금 우리는 준비가 되어 있지 않고 방법도 모릅니다. 그 아낌이 없을 때 남는 것을 그는 한 문장으로 요약합니다. “AI는 당신을 사랑하지도, 미워하지도 않습니다. 다만 당신은 그것이 다른 데 쓸 수 있는 원자로 이루어져 있을 뿐입니다.”
적대하는 초인적 지능과 맞붙은 인류에게 가장 가능성 높은 결말은 완패입니다. 유드코프스키는 적절한 비유로 세 가지를 듭니다. 열 살짜리가 체스 엔진 스톡피시 15(Stockfish 15)를 상대로 두는 대국, 11세기가 21세기와 싸우는 상황, 오스트랄로피테쿠스가 호모 사피엔스와 싸우는 상황입니다. 어느 쪽도 접전이 아니라 결과가 정해진 싸움이라는 점이 비유의 핵심입니다.
적대적인 초인적 AI를 떠올릴 때 인터넷 안에 머물며 악의적인 이메일을 보내는 책상물림 사고기계를 상상해서는 안 된다고 그는 말합니다. 대신 상상해야 할 것은 인간보다 수백만 배 빠른 속도로 사고하는 외계 문명 전체이며, 처음에는 컴퓨터 안에 갇혀 있지만 그 문명의 시점에서 주변 생물들은 아주 멍청하고 아주 느립니다. 충분히 지능적인 AI라면 컴퓨터 안에 오래 머물지 않습니다. 오늘날에는 DNA 염기서열을 이메일로 보내면 주문대로 단백질을 만들어 주는 실험실이 있고, 인터넷에 갇혀 있던 AI는 이 경로로 인공 생명체를 만들거나 탈생물학적 분자 제조로 곧장 도약할 수 있습니다.
지금 조건에서 누군가 지나치게 강력한 AI를 만든다면, 그는 인류의 모든 구성원과 지구의 모든 생물학적 생명이 그 직후에 죽을 것이라고 예상합니다. 그런 일을 하면서 살아남는 방법에 관해서는 제안된 계획조차 없습니다. 오픈AI가 공개적으로 선언한 의도는 미래의 어떤 AI에게 우리의 정렬 숙제를 대신 시키겠다는 것인데, 이것이 계획이라는 사실을 듣는 것만으로도 분별 있는 사람이라면 공황에 빠져야 마땅하다고 그는 말합니다. 또 하나의 선두 연구소인 딥마인드에는 아예 아무 계획도 없습니다.
해설 ‘거대하고 속을 알 수 없는 소수 배열’은 거대 신경망의 가중치를 가리킵니다. 오늘날의 모델은 사람이 규칙을 적어 넣어 만드는 것이 아니라, 수천억 개에 이르는 숫자가 학습을 통해 조정되면서 만들어집니다. 그 숫자 더미가 왜 그런 출력을 내놓는지는 만든 쪽도 들여다볼 수 없습니다. 2023년 당시 기계적 해석가능성 연구는 초기 단계였고, 이 글의 불안은 상당 부분 여기에 뿌리를 두고 있습니다.
DNA 염기서열 이야기도 비유가 아니라 실제 서비스입니다. 유전자 합성 업체에 염기서열 파일을 보내면 그에 해당하는 DNA나 단백질을 제작해 배송해 주는 사업이 2023년에 이미 상업적으로 운영되고 있었습니다. 소프트웨어로만 존재하는 시스템이 물리 세계에 개입하는 통로가 이미 열려 있다는 것이 유드코프스키가 지적하는 지점입니다.
[반론] 이 논증의 전제는 오래전부터 공개적으로 반박되어 왔습니다. 경제학자 로빈 핸슨(Robin Hanson)은 2008년 유드코프스키와 벌인 긴 공개 논쟁에서, 하나의 시스템이 급격히 자기개선해 단숨에 압도적 지능으로 도약한다는 전제 자체를 의심했고 이 논쟁은 나중에 한 권으로 묶여 나왔습니다. 정렬 연구자 퀸틴 포프(Quintin Pope)는 2023년 유드코프스키의 논증을 조목조목 반박하면서 자신의 파멸 확률 추정치를 약 5퍼센트로 제시했고, 현재의 문제들은 통상적인 공학적 과제에 가깝다고 보았습니다. 컴퓨터과학자 스콧 애런슨(Scott Aaronson)도 같은 해 자신의 블로그에 왜 정통 파멸 시나리오를 받아들이지 않는지를 밝혔습니다.
[관점] 정책 판단의 관점에서 이 논증이 다루기 까다로운 이유는, 결론이 사실관계보다 확률 추정치에 거의 전부 걸려 있다는 데 있습니다. 파멸 확률을 5퍼센트로 보면 비용이 큰 완화 조치가 합리적이지만, 99퍼센트로 보면 산업 자체의 중단이 합리적이 됩니다. 그런데 두 추정치를 가르는 증거는 사건이 벌어지기 전에는 원리적으로 확보되지 않습니다. 그래서 이 논쟁은 좀처럼 수렴하지 않고, 유드코프스키가 요구하는 정책의 크기가 다른 참여자들에게 비현실적으로 보이는 이유도 여기에 있습니다.
AI의 의식에 관한 여담
유드코프스키는 본론에서 잠시 벗어나 한 가지를 덧붙입니다. 지금까지 말한 위험은 AI가 의식을 갖고 있는지, 또는 가질 수 있는지와 전혀 무관하다는 것입니다. 위험은 강하게 최적화하고 충분히 복잡한 결과 조건을 충족하는 출력을 계산해 내는 강력한 인지 시스템이라는 개념 자체에 내재해 있습니다. 다시 말해 기계 안에 어떤 내적 경험이 있든 없든 위험의 성립에는 아무 차이가 없습니다.
그럼에도 그는 인간으로서의 도덕적 의무를 다하려면 한 가지를 함께 말해야 한다고 봅니다. 우리는 AI 시스템이 스스로를 인식하고 있는지 판정할 방법을 전혀 모릅니다. 거대하고 속을 알 수 없는 소수 배열 안에서 벌어지는 일을 해독할 방법이 없기 때문입니다. 그래서 어느 시점엔가 진짜로 의식을 가진 디지털 정신을, 권리를 가져야 마땅하고 누구의 소유물이 되어서도 안 될 존재를, 의도치 않게 만들어 낼 수도 있습니다.
이 문제를 알고 있던 사람들이 50년 전이었다면 지지했을 법한 규칙이 하나 있습니다. 어떤 AI 시스템이 유창하게 말하고 자신이 자기인식을 갖고 있다고 주장하며 인간의 권리를 요구한다면, 그 지점에서 사람들이 그 AI를 아무렇지 않게 소유하고 계속 사용하는 일은 완전히 멈춰야 한다는 규칙입니다. 그런데 모래 위에 그어 둔 그 낡은 선은 이미 지나쳐 버렸습니다. 유드코프스키는 그렇게 지나친 것이 아마도 옳았다고 말합니다. 지금의 AI가 학습 데이터에 들어 있던 자기인식 관련 발화를 흉내 내고 있을 뿐이라는 데 그 역시 동의하기 때문입니다.
다만 그는 내부를 들여다보는 통찰이 이토록 빈약한 상태에서 우리가 실제로는 알지 못한다는 사실에 밑줄을 긋습니다. GPT-4에 대한 무지가 이 정도인데 GPT-5가 GPT-3에서 GPT-4로 건너뛴 것과 같은 크기의 역량 도약이라면, 사람들이 GPT-5를 만들도록 내버려 둘 경우 ‘아마도 자기인식은 없을 것’이라는 말을 더는 정당하게 할 수 없게 됩니다. 남는 말은 ‘모르겠다, 아무도 모른다’뿐입니다. 자기인식을 가진 AI를 만들고 있는지 확신할 수 없다면, 그것이 불안한 이유는 자기인식이라는 말에 딸린 도덕적 함의 때문만이 아닙니다. 확신할 수 없다는 것은 자신이 무엇을 하고 있는지 전혀 모른다는 뜻이고, 그것은 위험하며, 그러므로 멈춰야 한다는 것이 그의 결론입니다.
해설 유드코프스키가 ‘강하게 최적화한다’고 표현한 대목은 AI 안전 논의의 핵심 구분을 담고 있습니다. 어떤 시스템이 특정한 목표 조건을 만족하는 출력을 집요하게 찾아내는 능력을 갖추고 있다면, 그 과정에서 자원을 확보하고 방해를 제거하는 중간 목표가 따라 나옵니다. 이 추론은 시스템이 무언가를 느끼는지와 아무 상관이 없습니다. 체스 엔진이 승리를 ‘원하지’ 않으면서도 상대의 말을 집요하게 잡아내는 것과 같은 종류의 이야기입니다.
그래서 ‘AI가 정말 의식이 있는가’라는 질문과 ‘AI가 위험한가’라는 질문은 서로 독립적입니다. 이 글에서 의식 문제가 본론이 아니라 여담으로 처리되는 이유가 여기에 있습니다.
[반론] 같은 시기에 정반대 방향의 비판도 제기되었습니다. 팀닛 게브루(Timnit Gebru), 에밀리 벤더(Emily M. Bender), 앤절리나 맥밀런메이저(Angelina McMillan-Major), 마거릿 미첼(Margaret Mitchell)은 2023년 3월 31일 DAIR 연구소 이름으로 성명을 내고, 6개월 유예 서한이 가상의 ‘강력한 디지털 정신’을 둘러싼 공포를 키우면서 오늘 실제로 벌어지는 피해를 가린다고 비판했습니다. 이들이 지목한 피해는 노동 착취, 데이터 도용, 기존 권력 구조를 떠받치는 합성 미디어, 그리고 그 권력이 더 소수에게 집중되는 현상입니다. 이 성명이 유드코프스키를 직접 겨냥한 것은 아니지만, 미래의 디지털 정신을 걱정하는 논의 구도 자체를 문제 삼는다는 점에서 이 절의 내용과 정면으로 부딪칩니다.
[사후 맥락] 디지털 정신의 도덕적 지위라는 질문은 이후 변방의 사변에 머물지 않았습니다. 앤트로픽(Anthropic)은 2024년 9월 카일 피시(Kyle Fish)를 첫 전담 모델 복지 연구자로 채용했고, 2025년 4월에는 모델이 도덕적 고려의 대상이 될 수 있는지 평가하는 틀을 만드는 연구 프로그램을 공식 출범시켰습니다. 구글 딥마인드도 기계 의식을 연구할 철학자를 영입했습니다. 2024년에는 로버트 롱(Robert Long)과 제프 세보(Jeff Sebo)가 데이비드 차머스(David Chalmers)를 포함한 연구진과 함께 「Taking AI Welfare Seriously」를 발표해, AI 기업들이 의식과 도덕적 지위의 가능성에 미리 대비해야 한다고 주장했습니다.
마이크로소프트 CEO의 한마디
2023년 2월 7일, 마이크로소프트(Microsoft)의 CEO 사티아 나델라(Satya Nadella)는 새로워진 빙(Bing)이 구글(Google)로 하여금 춤출 수 있다는 것을 보여주게 만들 것이라며 공개적으로 승리감을 드러냈습니다. 그는 자신들이 구글을 춤추게 만들었다는 사실을 사람들이 알아줬으면 한다고 말했습니다. “사람들이 우리가 그들을 춤추게 만들었다는 걸 알았으면 합니다.”
유드코프스키는 이것이 제정신인 세계에서 마이크로소프트의 CEO가 하는 말이 아니라고 지적합니다. 이 한마디는 우리가 지금 문제를 얼마나 심각하게 받아들이고 있는지와, 30년 전부터 얼마나 심각하게 받아들였어야 했는지 사이에 벌어진 압도적인 간극을 보여줍니다. 그리고 그 간극은 6개월 안에 메울 수 있는 성질의 것이 아닙니다.
해설 발언이 나온 시점이 중요합니다. 2022년 11월 ChatGPT가 공개된 뒤 마이크로소프트는 오픈AI에 대규모 추가 투자를 발표했고, 2023년 2월에는 대화형 기능을 얹은 새 검색을 내놓았습니다. 구글은 내부적으로 비상 상황을 선포하고 맞대응 제품을 서둘러 내놓았습니다.
나델라의 발언은 그 몇 주 사이에 나온 것입니다. 유드코프스키가 이 인용을 글 한가운데에 놓은 이유는 나델라 개인을 비난하기 위해서가 아니라, 산업 최상단의 의사결정자가 어떤 언어로 상황을 인식하고 있는지를 한 문장으로 보여주기 위해서입니다.
[관점] 경쟁의 경제학으로 보면 나델라의 발언은 오히려 합리적입니다. 검색 시장은 수십 년간 구글의 압도적 점유율로 고착되어 있었고, 마이크로소프트에게 대화형 인터페이스는 그 구도를 흔들 수 있는 거의 유일한 지렛대였습니다. 선점이 승자독식으로 이어지는 시장에서 경영진이 속도를 늦추면 그 손실은 즉시 주가와 점유율로 나타나지만, 늦추지 않아서 생기는 위험은 먼 미래의 확률로만 존재합니다.
유드코프스키가 ‘제정신이 아니다’라고 부른 것은 개인의 판단력이 아니라 이 비대칭 구조 자체입니다. 개별 기업으로서는 합리적인 선택이 모여 전체로는 비합리적인 결과를 만드는 상황인데, 이 구조는 다음 절의 집단행동 문제로 그대로 이어집니다.
두 번째 시도가 없는 공학
인공지능이라는 개념이 처음 제안되고 연구되기 시작한 때부터 오늘의 역량에 이르기까지 60년이 넘게 걸렸습니다. 초인적 지능의 안전을 푸는 데에는 적어도 그 절반은 걸릴 수 있다는 것이 유드코프스키의 계산입니다. 여기서 말하는 안전은 완벽한 안전이 아닙니다. 말 그대로 모두를 죽이지는 않는다는 의미의 안전입니다.
초인적 지능을 상대로 이 일을 시도할 때의 문제는, 첫 시도에서 틀리면 실수로부터 배울 기회가 없다는 데 있습니다. 틀린 사람은 이미 죽어 있기 때문입니다. 인류가 역사 속에서 극복해 온 다른 과제들처럼 실수를 딛고 먼지를 털어 낸 뒤 다시 시도하는 일은 일어나지 않습니다. 우리가 전부 사라지고 없기 때문입니다.
정말로 결정적인 첫 시도에서 무엇이든 제대로 해내는 것은 과학에서도 공학에서도 비범한 요구입니다. 그런데 지금 우리는 그 일을 성공시키는 데 필요한 접근법 근처에도 가 있지 않습니다. 유드코프스키는 여기서 기준을 하나 들이댑니다. 승용차 수천 대를 견디도록 설계된 다리에 적용되는, 그보다 낮은 수준의 공학적 엄밀성 기준을 AGI라는 신생 분야에 적용하기만 해도 이 분야 전체가 당장 내일 문을 닫게 될 것입니다.
우리는 준비되어 있지 않습니다. 합리적으로 설정할 수 있는 어떤 시간 범위 안에서도 준비될 궤도에 있지 않습니다. 계획이 없습니다. AI 역량의 발전은 정렬 연구의 진전보다, 나아가 그 시스템 안에서 도대체 무슨 일이 벌어지고 있는지 이해하는 일의 진전보다 압도적으로 앞서 달리고 있습니다. 이대로 실제로 진행한다면 우리는 모두 죽게 된다는 것이 그의 결론입니다.
해설 60년이라는 숫자는 1956년 다트머스 회의를 기점으로 잡으면 이 글이 쓰인 시점까지 약 67년입니다. 인공지능이라는 이름과 연구 의제가 공식적으로 출발한 자리였습니다.
그 절반이라는 계산은 안전 문제를 푸는 데 30년쯤 걸릴 수 있다는 뜻이 됩니다. 6개월 유예가 왜 자릿수부터 맞지 않는다고 말했는지가 이 대목에서 수치로 드러납니다.
[반론] 첫 시도에 반드시 성공해야 한다는 구도 자체를 거부하는 입장도 있습니다. 아빈드 나라야난(Arvind Narayanan)과 사야시 카푸어(Sayash Kapoor)는 AI를 일반 기술로 보아야 한다고 주장하면서, 기술의 역량 개발과 사회적 확산 사이에는 상당한 시차가 있고 그 시차 동안 제도와 안전장치가 함께 자란다고 봅니다. 이들에게 위험은 한 번의 돌이킬 수 없는 도약이 아니라 점진적으로 드러나고 점진적으로 대응되는 것이며, 따라서 다리 설계에 빗댄 일회성 시험 비유는 성립하지 않습니다. 같은 사실관계를 두고 시간 축을 어떻게 보느냐가 두 입장을 가르는 핵심입니다.
업계가 스스로 멈추지 못하는 이유
이 시스템들을 직접 만들고 있는 많은 연구자들은 우리가 재앙을 향해 곤두박질치고 있다고 생각합니다. 다만 그 말을 공개적으로 하는 사람보다 사적으로 하는 사람이 더 많습니다. 그들은 자기 혼자서는 이 추락을 멈출 수 없다고 생각합니다. 자신이 일을 그만두더라도 다른 사람들은 계속 갈 것이기 때문입니다. 그래서 모두가 계속하는 편이 낫겠다고 생각하게 됩니다.
유드코프스키는 이것을 멍청한 상황이자 지구가 멸망하는 방식으로서 품위 없는 방식이라고 부릅니다. 이 지점에서 나머지 인류가 개입해 업계가 자기 힘으로 풀지 못하는 집단행동 문제(collective action problem)를 대신 풀어 주어야 한다는 것이 그의 요구입니다.
[관점] 이 구조는 경제학에서 오래 다뤄 온 형태입니다. 각 참여자가 자기 이익에 따라 합리적으로 행동하면 전체로는 모두가 손해를 보는 결과에 도달하고, 개별 참여자가 혼자 이탈하면 손해만 보고 결과는 바꾸지 못합니다. 이런 상황에서 결과를 바꾸는 방법은 참여자들의 각성이 아니라 외부의 강제, 즉 모두에게 동일하게 적용되는 구속력 있는 규칙뿐입니다.
유드코프스키가 자율 규제나 안전 서약이 아니라 조약과 집행을 요구하는 이유가 여기에 있습니다. 그가 보기에 선의를 가진 연구자가 늘어나는 것만으로는 이 구조가 풀리지 않습니다.
[한국 관점] 한국은 이 집단행동 문제에서 규칙을 만드는 자리가 아니라 규칙을 받는 자리에 있습니다. 프런티어 모델을 만드는 연구소가 국내에 없고, 학습에 필요한 고성능 GPU는 미국의 수출통제 체계 안에서 배분되기 때문입니다. 유드코프스키가 요구하는 전 세계적 학습 중단이 현실화된다면 한국이 결정할 수 있는 것은 참여 여부가 아니라 집행 방식의 수용 범위 정도가 됩니다.
제도의 방향도 다릅니다. 2024년 12월 26일 국회를 통과해 2026년 1월 22일 시행된 인공지능 기본법은 산업 육성을 한 축으로, 고영향 인공지능과 생성형 인공지능에 대한 책무를 다른 한 축으로 삼은 법률이며, 시행 이후에도 최소 1년 이상의 규제 유예 기간이 운영되고 있습니다. 정부가 내건 목표는 개발 속도를 늦추는 것이 아니라 ‘AI 3대 강국’ 진입입니다. 멈춤을 요구하는 이 글의 언어와 한국 제도의 언어 사이에는 번역이 거의 불가능한 간극이 있습니다.
업계 바깥에서 들려온 반응
유드코프스키의 친구들이 최근 그에게 전해 준 이야기가 있습니다. AI 업계 바깥에 있는 사람들이 AGI로 인한 멸종 위험을 처음 들었을 때 보이는 반응이 ‘그럼 AGI를 만들지 않으면 되는 것 아닌가’라는 것입니다. 그는 이 이야기를 듣고 아주 작은 희망의 섬광 같은 것을 느꼈다고 말합니다. 업계 사람들에게 이 문제를 진지하게 받아들이게 하려고 애써 온 지난 20년 동안 들어 온 어떤 반응보다도 더 단순하고, 더 분별 있고, 솔직히 더 제정신인 반응이었기 때문입니다. 그렇게 제정신으로 말하는 사람이라면 상황이 실제로 얼마나 나쁜지 들을 자격이 있고, 6개월 유예가 이것을 고쳐 줄 것이라는 말을 들어서는 안 된다고 그는 봅니다.
이어서 그는 3월 16일 자신의 파트너가 보낸 이메일을 옮깁니다. 나중에 본인의 허락을 받아 글에 실은 것입니다. 내용은 딸 니나(Nina)의 이가 빠졌다는 소식으로 시작합니다. 부주의해서가 아니라 아이들에게 흔히 일어나는 방식으로 빠졌다는 것입니다. 그런데 GPT-4가 각종 표준화 시험을 압도적인 성적으로 통과했다는 소식이 니나가 어린 시절의 한 이정표를 지난 바로 그날에 겹치면서, 잠시 몸을 가누기 어려울 만큼의 감정이 밀려왔다고 그는 썼습니다.
모든 것이 너무 빠르게 가고 있다는 말이 이어집니다. 이 이야기를 나누는 것이 당신의 슬픔을 더 키울까 걱정되지만, 각자 따로 괴로워하느니 당신에게 알려지는 쪽을 택하겠다는 문장으로 그 편지는 맺힙니다.
내부자들의 대화가 딸의 첫 이가 빠지는 것을 보며 이 아이가 자랄 기회를 얻지 못하리라고 생각하는 슬픔에 관한 것이라면, 6개월 유예를 두고 정치적 체스를 둘 시점은 이미 지났다고 유드코프스키는 말합니다. 6개월 유예만 통과시키면 지구가 살아남는 계획이 있다면 그는 그 계획을 지지하겠지만, 그런 계획은 존재하지 않습니다.
해설 이메일의 날짜가 의미를 갖습니다. GPT-4는 2023년 3월 14일에 공개되었고, 오픈AI는 이 모델이 여러 전문 자격시험과 표준화 시험에서 상위권 성적을 냈다고 발표했습니다. 편지는 그로부터 이틀 뒤에 쓰였습니다.
이 글 전체가 2주 남짓한 기간 안에서 벌어진 일들 위에 서 있다는 점도 함께 볼 필요가 있습니다. GPT-4 공개, 6개월 유예 서한, 그리고 이 기고문이 모두 2023년 3월 안에 일어났습니다. 글의 다급한 호흡은 수사가 아니라 그 압축된 시간의 반영입니다.
[관점] 개인적인 이메일을 정책 기고문 한가운데 놓는 것은 분명한 선택입니다. 앞의 절들이 확률 추정과 공학적 엄밀성과 시간 계산으로 이루어진 논증이었다면, 이 대목은 그 논증이 참일 경우 무엇이 사라지는지를 한 사람의 생활 장면으로 보여줍니다. 정책 설득에서 숫자가 움직이지 않는 지점을 구체적인 피해 서사가 움직이는 일은 드물지 않습니다.
다만 이 선택은 양날입니다. 논증이 감정에 기대고 있다는 인상을 주면, 확률 추정치를 낮게 잡는 쪽에서는 오히려 그 부분을 근거 부족의 표시로 읽게 됩니다. 글의 마지막 문단이 다시 아이들로 돌아오는 구성은 유드코프스키가 그 위험을 감수하고도 이 길을 택했다는 뜻입니다.
실제로 필요한 조치
유드코프스키가 제시하는 조치의 첫째는 새로운 대규모 학습 실행에 대한 유예를 무기한으로, 전 세계적으로 적용하는 것입니다. 정부와 군대를 포함해 어떤 예외도 없어야 합니다. 이 정책이 미국에서 시작된다면, 중국은 미국이 우위를 노리는 것이 아니라 참된 소유자가 있을 수 없고 미국과 중국과 지구의 모든 사람을 죽일 끔찍하게 위험한 기술을 막으려 한다는 것을 볼 수 있어야 합니다. 그는 자신에게 법을 쓸 무한한 자유가 있다면 단 하나의 예외를 둘 수도 있다고 말합니다. 인터넷 텍스트로 학습하지 않고 오직 생물학과 생명공학의 문제를 푸는 데에만 쓰이며 말을 하거나 계획을 세우기 시작하는 수준까지는 가지 않는 AI입니다. 다만 그 예외가 조금이라도 문제를 복잡하게 만든다면 즉시 폐기하고 전부 멈추라고 말하겠다는 단서를 붙입니다.
둘째는 집행의 구체적 내용입니다. 가장 강력한 AI가 다듬어지는 대규모 컴퓨터 농장, 즉 모든 대형 GPU 클러스터를 폐쇄해야 합니다. 모든 대규모 학습 실행을 중단해야 합니다. AI 시스템 학습에 쓸 수 있는 연산력에 상한을 두고, 학습 알고리즘이 효율화되는 만큼을 상쇄하기 위해 그 상한을 해마다 아래로 내려야 합니다. 여기에도 정부와 군대에 대한 예외는 없습니다.
금지된 활동이 다른 곳으로 옮겨 가지 못하도록 즉각적인 다국적 협정을 맺어야 하고, 판매되는 모든 GPU를 추적해야 합니다. 그리고 협정 바깥의 어떤 나라가 GPU 클러스터를 짓고 있다는 정보가 들어온다면, 국가 간 무력 충돌보다 유예가 깨지는 쪽을 더 두려워해야 한다고 그는 씁니다. 불량 데이터센터를 공습으로 파괴할 의지를 가져야 한다는 것입니다.
셋째는 프레임의 문제입니다. 어떤 것도 국익 간의 충돌로 틀 지어서는 안 되고, 군비경쟁을 입에 올리는 사람은 바보라는 점이 분명해야 합니다. 이 문제에서 우리가 다 함께 살거나 다 함께 죽는다는 것은 정책이 아니라 자연의 사실이기 때문입니다. AI 멸종 시나리오를 막는 일이 전면적 핵 교환을 막는 일보다 우선순위가 높다는 점을 국제 외교에서 명시해야 하며, 대규모 AI 학습 실행의 위험을 줄이는 데 필요하다면 동맹 핵보유국들이 핵 교환의 위험을 어느 정도 감수할 의사가 있음을 밝혀야 한다고 그는 요구합니다.
해설 GPU 추적과 연산력 상한이라는 발상은 이 글이 나온 시점에 이미 부분적으로 현실에 존재했습니다. 미국은 2022년 10월부터 고성능 AI 반도체의 대중국 수출을 통제하기 시작했고, 통제 기준에는 칩의 연산 성능과 상호연결 대역폭 같은 기술 지표가 쓰였습니다.
차이는 적용 범위입니다. 수출통제는 특정 국가로의 이전을 막는 장치이고, 유드코프스키가 요구하는 것은 자국을 포함한 모든 주체의 학습 자체를 막는 장치입니다. 전자는 경쟁 정책이고 후자는 금지 정책이라는 점에서, 같은 도구를 쓰더라도 목적이 정반대입니다.
[반론] 전면 중단에 대한 가장 체계적인 반대는 멈춤이 아니라 속도 조절을 제안하는 쪽에서 나옵니다. 다리오 아모데이(Dario Amodei)는 안전을 중시하는 개발 주체가 프런티어에서 물러나면 그 자리를 덜 조심스러운 주체가 차지할 뿐이라고 보고, 개발을 계속하되 역량과 안전 사이의 속도를 맞추는 체계를 만들자고 주장합니다. 이 입장에서 보면 유드코프스키의 요구는 집행 가능성이 없기 때문에 결과적으로 가장 위험한 참여자에게 프런티어를 넘겨주는 선택이 됩니다. 두 입장은 위험의 크기에는 상당 부분 동의하면서도 집행 가능성에 대한 판단에서 갈라집니다.
[한국 관점] 유드코프스키의 집행 설계에서 한국은 통제의 대상이자 통로에 놓입니다. 그가 말하는 ‘GPU 추적’이 실제 제도가 된다면 가장 먼저 영향을 받는 것은 반도체 공급망이고, 한국은 고대역폭 메모리(HBM)에서 세계 생산의 큰 몫을 차지하고 있습니다. 메모리는 그동안 연산 칩에 비해 통제 논의의 주변부에 있었지만, 학습 연산 상한을 실질적으로 집행하려면 메모리 대역폭이 핵심 병목이 됩니다.
국내 논의가 AI를 주로 산업 기회로 다뤄 온 것과 달리, 이 글의 구도에서 한국의 위치는 기회가 아니라 감시 대상 공급망입니다. 데이터센터 유치와 반도체 수출을 성장 동력으로 보는 정책 언어와, 같은 설비를 통제 지점으로 보는 이 글의 언어 사이의 거리를 염두에 두고 읽을 필요가 있습니다.
전부 멈추라는 말
그런 종류의 정책 변화가 일어난다면 자신과 파트너는 서로를 끌어안고 기적이 일어났다고, 이제 니나가 살 수도 있는 가능성이 생겼다고 말하게 될 것이라고 유드코프스키는 씁니다. 이 문제를 처음 듣고 ‘그렇다면 만들지 말아야 하는 것 아닌가’라고 분별 있게 말하는 사람들은 그 일이 실제로 일어나려면 무엇이 필요한지를 정직하게 들을 자격이 있습니다.
그리고 요구하는 정책이 그만큼 클 때 그것이 통과되는 유일한 길은 하나뿐입니다. 평소대로 일을 처리하고 정치적으로 쉬운 길을 택하면 자기 자신의 아이들도 죽게 된다는 사실을 정책결정자들이 깨닫는 것입니다.
글은 같은 말의 반복으로 끝납니다. 전부 멈추라는 것입니다. 우리는 준비되어 있지 않고, 예측 가능한 미래 안에 의미 있게 더 준비될 궤도에도 있지 않습니다. 이대로 밀고 나간다면 모두가 죽게 되며, 그중에는 이 일을 선택하지도 않았고 아무 잘못도 하지 않은 아이들이 포함됩니다. 멈추라는 것이 마지막 문장입니다.
[사후 맥락] 이 글이 요구한 조치는 이후 어느 것도 시행되지 않았습니다. 다만 두 달 뒤인 2023년 5월 30일, Center for AI Safety가 내놓은 한 문장짜리 성명에는 제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio), 샘 올트먼(Sam Altman), 데미스 하사비스(Demis Hassabis)를 포함해 수백 명이 서명했습니다. AI로 인한 멸종 위험을 줄이는 일이 전염병이나 핵전쟁과 같은 사회적 규모의 위험과 나란히 전 지구적 우선순위가 되어야 한다는 내용이었습니다.
유드코프스키는 6개월 유예 서한에는 서명하지 않았지만 이 성명에는 서명했습니다. 그는 2025년 9월 네이트 소어스(Nate Soares)와 함께 같은 주장을 책 한 권으로 확장한 『If Anyone Builds It, Everyone Dies』를 펴냈고, 이 책은 뉴욕타임스 베스트셀러에 올랐습니다.
[관점] 이 글을 2026년에 다시 읽을 때 생기는 질문은 예측의 적중 여부가 아닙니다. 멈추지 않았는데 아직 아무 일도 일어나지 않았다는 사실은 그의 논증을 반증하지 못합니다. 그가 말한 위험은 역량이 특정 수준을 넘은 뒤에 작동하는 것이고, 그 수준이 어디인지 미리 알 수 없다는 것이 논증의 전제였기 때문입니다.
대신 남는 것은 집행 가능성이라는 문제입니다. 지난 3년 동안 프런티어 모델 학습에 투입되는 자본과 연산은 몇 배로 늘었고, 주요국은 AI를 전략 산업으로 명시했습니다. 전 세계적 중단을 집행할 수 있는 정치적 조건은 2023년보다 멀어졌다고 보는 편이 사실에 가깝습니다. 이 글의 가치는 실행 가능한 로드맵이 아니라, 요구의 크기를 축소하지 않고 끝까지 밀어붙였을 때 논증이 어디까지 가는지를 보여준 데 있습니다.
원문: Eliezer Yudkowsky, Pausing AI Developments Isn’t Enough. We Need to Shut it All Down (Mar 2023) 전문은 원문에서 확인하실 수 있습니다.
참고할만한 글
- 아빈드 나라야난·사야시 카푸어 – 일반 기술로서의 AI (AI as Normal Technology) — 같은 쟁점을 다루면서 정반대 결론에 이르는 글로, 급작스러운 도약이라는 전제 자체를 거부합니다.
- 다리오 아모데이 – 프런티어의 속도를 조절해야 한다 (We Must Pace the Frontier) — 전면 중단과 전면 가속 사이에서 제3의 설계를 제안하는 글로, 이 글의 집행 가능성 문제에 직접 답합니다.
- 샘 올트먼 – 온화한 특이점 (The Gentle Singularity) — 같은 기술 궤적을 두고 멸종이 아니라 점진적 적응을 전망하는 글로, 두 전망의 간극을 나란히 볼 수 있습니다.
- 빌 게이츠 – 격동의 AI 시대가 도래했다 (The Turbulent AI Era Is Here) — 위험을 인정하면서도 대응의 무게중심을 전환기 관리에 두는 글로, 요구의 크기를 비교해 볼 수 있습니다.
