파란색 단어를 클릭하세요｜Follow us
2023년 3월 22일, 생명의 미래 연구소(Future of Life Institute)는 공식 웹 사이트에 "대규모 인공 지능 실험 중단"이라는 제목의 공개 서한을 게시하여 모든 인공 지능 연구소에 GPT-4보다 강력한 모든 인공 지능 시스템의 훈련을 최소 6개월 동안 즉각 중단할 것을 촉구했습니다 . 이 공개서한은 전 세계적으로 큰 관심을 모았고, 애플 공동창업자 스티브 워즈니악, 테슬라, 스페이스X, 트위터 CEO 일론 머스크 등 기술 분야의 주요 인사들이 공개서한에 서명해 지지를 표명했다. 공개 서한은 작성일 현재 33,002명의 지지 서명을 받았습니다.
공개 서한 보기:
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Future of Life Institute의 창립자이자 책 "Life 3.0"의 저자이자 이 공개 서한의 창시자인 Max Tegmark는 현재 MIT(Massachusetts Institute of Technology) 종신 교수로 재직 중이며 인공 지능과 미래 생활 연구에 전념하고 있으며 이 분야에서 큰 성과를 거두었습니다.
얼마전 통과된 "2023 IJCAI-WAIC Large Model and Technological Singularity: Humanities and Science Face-to-face Summit Forum"에서 막스 테그마크 교수가 "왜 AI 연구를 중단해야 하는지, 그리고 어떻게 AI를 통제해야 하는지"를 연결의 형태로 공유하고 토론했습니다 .
이 세션은 Anyuan AI의 설립자인 Xie Minxi 씨가 주최했으며 화동사범대학교 정치 및 국제 관계 학부 학장인 Wu Guanjun 교수와 뉴사우스웨일스 대학교의 Toby Walsh 교수가 질문 세션에 참여했습니다.
다음은 라이브 연결 기록이며 HyperAI는 원래 의도를 변경하지 않고 공유했습니다.
Max Tegmark: 안녕하세요 여러분, 상하이에서 여러분과 연락할 수 있게 되어 매우 기쁩니다. 저는 중국과 매우 밀접한 관계를 가지고 있으며 뛰어난 학생들 중 많은 수가 중국인입니다. 오늘 여러분과 나누고 싶은 주제는 "AI를 제어하는 방법"입니다.
사람들은 종종 AI 앞에서 인간이 흥분해야 하는지 두려워해야 하는지 묻습니다. 나는 그것이 둘 다 조금 있어야한다고 생각합니다. 우리는 AI를 주도하게 된 것을 기쁘게 생각하며 AI가 가져다주는 기회는 무궁무진합니다. 최근 제 논문에서는 AI의 도움으로 지속 가능한 개발 목표를 보다 빠르게 달성하는 방법에 대해 논의했습니다. 우리는 AI가 대부분의 목표를 달성하는 데 도움이 된다는 것을 알게 되었습니다. 제어 하에 올바른 방법을 사용하면 더 나은 AI를 얻을 수 있고 원래의 기대치를 훨씬 뛰어넘는 목표를 달성하며 세상을 위한 더 나은 미래를 만들 수 있습니다. 그리고 이 모든 것의 전제는 AI가 통제 불능 상태가 되는 것을 방지하고 인간이 AI를 통제할 수 있도록 하는 것입니다.
최근 인공지능의 위협에 대해 많은 논의가 이루어지고 있습니다.실로 컴퓨터가 의식을 갖고 자기반복하는 시대에 있습니다.발전은 점점 더 빨라질 것이며, 그것을 어떻게 통제할 것인가에 대해 진지하게 고민해야 합니다. 하지만 인간에게 이런 능력이 있다고 단언할 수는 없지만 노력해야 합니다.
AI 개발의 최악의 결과는 모든 인간의 멸종입니다. 제 생각에는 AI가 가까운 미래에 인류를 멸종시킬 가능성이 약 50%라고 생각합니다. 이것이 제가 이 주제에 관심을 갖는 이유입니다. 최근 많은 사람들이 AI로 인한 인류의 멸종을 경계해야 한다고 경고하고 있습니다. 5월 20일 성명서에는 많은 AI 선도 기업의 CEO들뿐만 아니라 많은 최고의 AI 학자들이 서명했습니다. 그들은 왜 순간에 그런 걱정을 하는 걸까? 그러나 이러한 우려는 고대부터 존재해 왔습니다.
인간이 자신보다 더 똑똑한 기계를 만들면 인간은 큰 위험에 처할 것입니다. 이 견해는 인공 지능의 아버지인 튜링으로 거슬러 올라갑니다. 그는 1951년에 언젠가 기계가 생각하기 시작하면 인간은 기계의 통제를 받을 준비가 되어 있어야 한다고 말했습니다. 지능이 힘과 통제력을 가져올 것이라는 것은 분명합니다. 유사한 경고가 많이 있습니다. 이것은 AI의 탄생으로 거슬러 올라갈 수 있는 오래된 문제임을 알 수 있습니다. 그런데 지금 이 문제를 논의하는 이유는 무엇입니까?
AI는 현재 비약적으로 발전하고 있기 때문에 많은 사람들이 수십 년 안에 달성할 수 있을 것이라고 생각했던 일이 이제 일어났습니다. 한때 미래라고 여겨졌던 것은 이제 먼 과거가 되었습니다. AI는 깨끗한 코드를 작성할 수 있고, 예술을 만들 수 있으며, AI는 글쓰기와 비디오 제작에도 능숙해졌고, 지구를 뒤흔드는 변화는 단기간에 일어났습니다. 계속 발전하면 모든 분야에서 인간보다 더 잘할 수 있다. 이것이 AGI(Artificial General Intelligence)의 정의입니다. 이렇게 된다면 더 나은 AI를 개발할 수 있는 능력을 갖추게 되어 초지능의 가능성을 더욱 높일 수 있다는 의미다. 우리는 AI를 만들고 더 나은 AI 개발을 가속화할 수 있습니다. 이러한 반복적인 주기를 통해 곧 AI는 더 이상 인간의 지능에 종속되지 않고 물리 법칙에만 종속될 것입니다.
몇 년 전만 해도 대부분의 사람들은 이것이 곧 일어날 것이라고 생각하지 않았고, 많은 AI 연구자들은 한때 그것이 일어나려면 30-50년이 걸릴 것이라고 생각했습니다. 그러나 이제 Microsoft는 이것이 이미 일어나고 있다는 보고서를 발표했습니다. 우리는 GPT-4에서 일반적인 인공 지능의 불꽃을 봅니다. 우리는 기본적으로 AI 시스템이 인간의 행동을 모방할 수 있는 지점에 도달했습니다. 즉, AI가 튜링 테스트를 통과할 수 있다는 의미입니다. 일찍이 1960년대, 1970년대, 1980년대 사람들은 AI가 튜링 테스트를 통과하면 기본적으로 인간을 능가할 수 있는 능력이 있다는 것을 의미한다고 믿었습니다.
점점 더 많은 사람들이 AI의 발전이 통제 불능 상태가 되어 인류의 멸종으로 이어질 것이라고 걱정하기 시작했습니다. 사실 이것은 중미 관계 개선에 도움이 될 것입니다. 현재 대부분의 플레이어는 AI를 권리의 원천으로 보고 있습니다. 먼저 마스터하는 사람이 이길 가능성이 있습니다. 그러나 이제 모든 사람들이 AI 개발을 신중하게 다루기 시작했습니다. AI를 처음 마스터한 사람이 AI를 완전히 제어하고 그에 따른 위험을 해결하지 못한다면 그 결과는 인류의 멸종일 가능성이 높으며 승자는 없을 것입니다. 이것은 현 상황을 완전히 바꾸어 놓았습니다. 저는 이것이 중미 관계 개선의 새로운 장을 열고 더욱 개방적이고 협력적인 정세를 가져올 수 있기를 진심으로 희망합니다. 협력을 통해서만 AI를 제어할 수 있는 사람은 아무도 없고 인류의 더 나은 미래를 만들 수 있기 때문입니다.
인간이 우리 자신보다 더 똑똑한 기계를 제어할 수 있는 방법을 이해하려면 많은 기술 연구가 필요합니다. 그것이 제가 MIT 연구 그룹에서 하는 일입니다. 최근에 나는 메커니즘 해석 가능성과 대규모 언어 모델을 더 잘 이해하는 방법을 논의하기 위해 이 주제에 대한 대규모 회의를 조직했습니다. 궁극적인 목표는 인간이 AI를 제어하게 하는 것인데 AI를 포기하고 미지의 블랙박스에 비교하는 대신 AI의 신뢰성을 판단하기 위해 다른 AI 기술을 사용해 볼 수 있다. AI 기술을 사용하여 AI의 신뢰도를 높이고 정보를 추출하고 AI가 인간의 필요에 따라 작업을 수행할 수 있도록 프로세스 방법을 사용하여 신뢰할 수 있는 인공 지능 기술을 보유합니다. 이 세 가지 문제는 아직 해결되지 않았지만 시간이 더 걸리고 글로벌 협력이 강화되면 이 문제를 해결할 수 있을 것이라고 생각합니다. 기술적 관점에서 볼 때 완전히 달성 가능하며 문제는 시간입니다.
마치기 전에 인간이 기계를 제어할 수 있도록 하는 기술적 실현은 아직 멀었다는 사실에 대해 이야기하고 싶습니다. 멀티스케일 정렬(Multiscale Alignment) 문제도 해결해야 합니다. 요슈아 벤지오의 말처럼 AI는 사회 발전에 긍정적인 측면이 있어 흥미롭기도 하지만 걱정스럽기도 하다. 강력한 도구도 부적절하게 사용될 수 있고 사회는 이러한 도전에 대비하지 않았기 때문입니다. 그래서 AI 개발 속도를 늦추고 보다 종합적으로 방어를 설정하자고 합니다.
요슈아 벤지오가 표현하고 싶은 것은 인간이 거의 알지 못하고 GPT-4보다 더 강력한 가장 위험하고 통제 불능의 경향이 가장 높은 AI 시스템의 개발을 중단해야 한다는 것입니다. 기술 연구를 위한 시간을 허용하고 인간이 AI를 제어할 수 있도록 하기 위해. 동시에 정책 입안이 AI 발전과 보조를 맞춰 전 세계 정부가 필요한 규제를 시행하고 기업과 개인이 AI를 유익한 일에만 사용하도록 하는 것도 가능합니다.
개인이 AI를 이용해 생화학무기를 개발할 수 있다면 개인에게 복종하는 것만으로는 충분하지 않으며, 기업이 사회 발전에 도움이 되지 않는 일을 한다면 기업에게 복종하는 것으로는 충분하지 않습니다. 그렇기 때문에 기술 보안뿐만 아니라 법률과 규정도 필요합니다. 저 혼자가 아닙니다. 27,565명이 고위험 모델 개발에 대한 모라토리엄을 촉구하는 공개 서한에 서명했습니다. 저는 Yoshua Bengio 및 다른 저자들과 공동으로 작성했습니다. 이런 점에서 중국도 더 큰 기여를 할 수 있다. 중국은 이미 미국보다 AI에 대한 규제가 더 엄격하다. 중국은 이 문제를 해결하는 데 상당한 이점이 있습니다.
중국은 과학기술 강국일 뿐만 아니라 AI 보안 관련 연구에도 도움이 될 수 있다. 중국은 세계 4대 고대 문명의 하나이기 때문이기도 합니다.많은 서구 국가와 비교할 때 장기 계획의 전통이 있습니다.이것은 매우 필요한 개념입니다.나는 중국 기술자가 인간이 자신보다 똑똑한 기계를 제어하고 실용적인 정책 솔루션 형성에 참여하는 방법과 같은 문제를 해결하는 데 지혜를 기여하여 개인, 기업 및 국가가 단결하여 더 나은 미래를 작성하고 AI의 성과를 누릴 수 있도록 진심으로 환영합니다.
경청해 주셔서 감사합니다.
대화 세션:
Wu Guanjun: 대단히 감사합니다, Tegmark 교수님, 저는 당신의 공유를 매우 좋아하고 또한 당신의 우려에 동의합니다. 당신은 인간이 AI를 제어할 것이라고 언급했는데, 저는 여전히 그것에 대해 큰 의문이 있습니다. 누가 AI를 제어할 것인가? 여기서 생략된 주어가 "우리"라면 "인간"의 통제 하에 실제로는 "우리"가 있습니다. 귀하의 슬라이드 중 하나가 통제력을 잃지 말자고 말하고 "우리"도 있다는 것을 알았습니다. 그래서 내 질문은 언제부터 인간이 "우리"로 행동합니까? 우리는 인간이 서로를 신뢰하는 데 문제가 있음을 알고 있습니다. 예를 들어 Elon Musk를 믿어야 합니까? 그는 정말 GPT 4보다 더 강력한 모델을 비밀리에 훈련시키지 않습니까? 비록 그가 당신이 시작한 이 공개 서한에 서명했지만 나는 그를 믿고 싶습니다. 하지만 몇 달 전 언론 보도에 따르면 그는 10,000개의 GPU를 구입했습니다. 다시 제 질문으로 돌아가서 누가 AI를 제어해야 할까요? 인간 간의 신뢰 문제를 해결하는 것이 우선인가?
Max Tegmark: 좋은 질문입니다. 실제로 이것은 제어에 대한 두 가지 별도의 질문입니다. 첫 번째는 기술적인 문제인데 어떻게 개인이나 기업이 기계를 자기 마음대로 하게 만들 수 있느냐는 것은 기술적인 문제일 뿐입니다. 우리가 이 기술적인 문제를 해결할 수 없다면 당신의 제어 문제를 해결할 수 있다는 희망조차 가질 수 없습니다. 마치 원자로가 있지만 시동을 걸면 항상 터지는 것과 같습니다. 그러면 누구에게도 말이 되지 않습니다. 따라서 기술적인 문제를 먼저 해결해야 합니다.
동시에 통제권 문제에 대한 상응하는 정책을 수립해야 한다. 이것은 누가 통제할 수 있는지에 대한 매우 중요한 부분입니다. 물론 무엇을 해야 하는지에 대한 합의는 없습니다. 회사, 비즈니스 리더 및 국가마다 다른 견해를 갖는 경우가 많습니다. 하지만 인간을 신경쓰지 않는 이 기계들의 마음이 얼마나 이상한지에 연연하기보다 먼저 공동의 목표에 초점을 맞추는 것이 중요하다고 생각합니다. 실제로 미국과 중국 등 전 세계 모든 국가가 이러한 목표에 동의하는 합의에 도달했습니다. 기본적으로 UN의 모든 회원국은 빈곤 퇴치, 기아 퇴치 등 이러한 개발 목표에 동의합니다. 이러한 목표를 달성하기 위해 기술을 사용하십시오. 차이점보다 모두를 통합할 수 있는 합의가 더 많기 때문입니다.
Toby Walsh: 만나서 반갑습니다, 맥스. 우리는 특히 자율 무기와 같은 것에 관해서 AI에 대해 많은 공통된 우려를 가지고 있습니다. 내가 이 공개 서한에 서명하지 않은 데는 몇 가지 이유가 있습니다. AI 배치에 대한 모라토리엄을 요구한다면 서명할 가능성이 높습니다. 오늘날의 AI는 피해를 확대할 수 있는 도구이기 때문에 사실 우리는 이미 이러한 피해 중 일부를 보고 경험했습니다. 빠르게 사라지고 있는 것을 제어할 수 있는 인간의 능력에 대해서는 잘 모르겠습니다. 하지만 우리는 이미 인간의 행동을 증폭하고 피해 수준을 높일 수 있는 도구를 가지고 있습니다. 그래서 제 질문은 AI 배치에 모라토리엄을 두지 않는 이유는 무엇입니까?
Max Tegmark: 좋은 질문입니다. 공개 서한에 서명하지 않은 주요 이유 중 하나는 모델 타임라인이 다른 서명자보다 길기 때문이라고 생각합니다. 이것은 정당한 과학적 불일치의 영역에 정확히 속하며 공개 서한은 배포와 개발을 명확하게 구분하지 않습니다. 제 생각에는 너무 강력하고 제어할 수 없는 AI를 개발해서는 안 됩니다 OpenAI 또는 DeepMind와 같은 회사라면 이러한 회사의 CEO를 신뢰하더라도 엔지니어는 매우 책임감이 있으며 잠재적으로 위험한 AI를 배포하지 않을 것이라고 믿습니다. 실제로 그들은 독립적으로 의사결정을 내릴 수 없습니다. 일단 매우 강력한 AI를 개발하면 주주, 이사회 및 기타 구성원으로부터 엄청난 상업적 압력에 직면하게 될 것이기 때문입니다. 맨해튼 프로젝트의 과학자들처럼 원자폭탄을 만드는 방법을 알아냈을 때 군중에게 폭탄을 떨어뜨리지 말고 시위만 한 다음 아무도 다치거나 죽지 않도록 전쟁을 끝내라는 보고서를 제출했습니다. 그러나 당시 원자폭탄을 발명한 이 과학자들은 통제 불능이었고 다른 세력이 개입하여 그것을 배치하기로 결정했습니다. 따라서 미래에 잠재적으로 매우 강력한 기술에 관해 안전할 수 있는 유일한 방법은 그것을 배포하지 않는 것이라고 생각합니다.
AI 개발에 대한 6개월 유예와 인간이 아직 이해하지 못한 가장 강력한 모델에 대한 우리의 유일한 요청은 솔직히 정책 입안자와 보안 연구원이 따라잡을 시간을 주는 작은 요청입니다. 전문가들이 의약품이 안전하고 효과적이며 위험보다 이점이 더 크다고 확신할 때까지 중국이나 호주와 같은 국가에서 의약품의 제조 및 판매를 금지하는 생명공학 산업의 방향으로 나아가길 바랍니다.
Toby Walsh: 맥스, 6개월 제한은 제가 공개 서한에 서명하지 않은 또 다른 이유입니다. 이 시간 제한은 이마에 설정된 숫자와 매우 흡사합니다. 이 편지가 발행된 지 거의 6개월이 지났지만 변한 것은 없습니다. 전 세계적으로 얼라인먼트 연구가 크게 진행되지 않고 있으며 6개월 이내에 문제가 해결될 것 같지 않습니다. 이 편지에서 제기된 우려 사항을 정말로 해결하고 싶다면 6개월 유예를 요구하는 것만으로는 확실히 충분하지 않습니다. 해결책을 찾을 때까지 무기한 계획을 제안해야 합니다.
Max Tegmark: 공개 서한은 최소 6개월의 유예를 요구하고 있으며 안전 기준이 수립된 후에야 금지가 해제됩니다. 이 또한 생명공학 산업이 FDA나 호주와 중국의 해당 기관의 심사 과정을 통과해야 외부 세계에 제품을 출시할 수 있는 것과 유사합니다.지금 적어도 미국에서는 매우 야만적이고 무질서한 상태입니다. AI 사용에 관한 법률 및 규정은 없지만 약물 및 기타 약물에 대한 법률 및 규정은 매우 완전합니다. 즉, 관련 법률이 시행될 때까지 AI 개발을 다시 시작해서는 안 됩니다. 아무것도 변하지 않았다는 당신의 의견에 동의하지 않습니다. 사실 이 편지가 촉발한 정책학계에서는 전례 없는 논쟁이 벌어졌는데, 나는 그것이 주목할 만하다고 생각한다. 그러나 AI 개발은 멈추지 않았고 AI 개발은 멈추지 않았습니다. 그러나 정책 논의가 확실히 크게 증가한 것은 환영할 만한 일입니다.
Toby Walsh: 물론 도움이 되며 모두가 이 토론을 환영합니다. 제가 공개서한에 서명하지 않은 가장 근본적인 이유는 귀하가 반복적으로 언급한 "제어"라는 단어가 귀하의 시간보다 약간 더 길 수 있기 때문일 수 있습니다. 기본적으로 생물학자 친구들과 이야기하면 기계는 살아있는 유기체와 다르다고 생각합니다. 그들은 본질적인 목적이 없으며 궁극적으로 인간이 지시하는 도구이며 인간은 잘못된 일을 하도록 지시받을 수 있습니다. 인간이나 다른 동물과 달리 기계에는 고유한 추진력이 없으며 통제력을 잃을까 봐 걱정할 필요가 없습니다. 대신, 저는 이러한 기술을 악의적으로 사용할 수 있는 기업과 기관에 대한 통제권을 상실하는 것에 대해 매우 우려하고 있습니다. 그러나 나는 기계 자체에 대해 너무 걱정하지 않습니다.
Max Tegmark: 사용자가 AI를 사용하여 악을 행할지 여부가 걱정되더라도 잠시 멈출 가치가 있습니다.
예를 들어 지난해 한 논문에 따르면 AI 연구원은 AI를 훈련시켜 신약을 개발했다. 기본적으로 다양한 분자가 인간의 건강을 향상시킬 수 있는 정도를 최적화한 다음 통제 실험으로 마이너스 기호를 입력하여 이 AI에게 대신 유해한 화학 물질을 개발하라고 지시하면 어떤 일이 일어날지 테스트했습니다. 24시간 이내에 VX를 찾았다는 것이 밝혀졌습니다. 그것은 미국에서 발견된 가장 강력한 신경 작용제일 뿐만 아니라 일부 새로운 것입니다. 이와 같은 것을 공개하고 Facebook이 이와 같은 일을 한다고 가정하면 AI를 사용하여 악을 행하려는 사람을 어떻게 막을 수 있습니까? 여기 계신 여러분과 호주인들에게 이상하게 들릴지 모르지만, 미국에는 누군가가 가능한 한 많은 사람을 죽이고 싶어하는 온갖 종류의 총기 난사 사건이 있습니다. 그래서 저는 누군가가 가능한 한 많은 피해를 입히기 위해 AI를 사용할 가능성이 상당히 높다고 생각합니다.
Toby Walsh: 맥스, 매우 위험한 작전인 정보 검열에 대해 언급하셨습니다. 하루가 끝나면 VX 및 기타 신경 작용제에 대한 과학적 지식이 위태로워지기 때문입니다. 더 쉽게 접근할 수 있는 도구가 있지만 궁극적으로 그것은 단지 과학적 지식일 뿐입니다. 이런 일이 발생하지 않도록 하려면 어떻게 해야 합니까? 이러한 일이 발생하지 않도록 하려면 대중이 시약에 접근하지 못하도록 해야 합니다. 이러한 아이디어를 악으로 바꿀 수 있는 생화학 공장에 접근하지 못하게 해야 합니다.
Max Tegmark: 저는 이 진술에 동의하지 않습니다. 위의 조치를 취하는 것이 도움이 되지만 최신 소형 핵무기 디자인과 합성 생물학의 일부 고위험 콘텐츠를 공개하지 않을 것입니다. 우리가 오픈 소스를 신뢰하지 않기 때문이 아닙니다. 다들 아시다시피 제가 일하는 MIT는 오픈소스 문화의 요람이지만 사회에 대한 위험성이 높아 오픈소스가 될 수 없는 것들이 있습니다. VX를 대중에게 공개하는 방법을 이미 알고 있는 사람들에 대해서만 걱정하는 것이 아닙니다. 이번 AI 화학무기 개발에서 무서운 점은 이전에 알려지지 않았던 새로운 화학무기를 발견했다는 점이다. 분명히 인간 화학자나 생물학자를 능가할 수 있는 AI 시스템을 구축한다면 AI는 대량 피해에 대한 새로운 지식을 창출할 잠재력도 가지고 있습니다. 이 AI 시스템이 소유자의 명령에 극도로 순종하고 본질적인 목적이 없더라도 인간은 AI를 사용하여 더 많은 피해를 입힐 수 있으며 여전히 효과적으로 억제해야 합니다. 위의 내용은 제 의견입니다.
라이브 방송 콘텐츠 및 Q&A 세션의 전체 버전을 보려면 아래 링크를 클릭하십시오.