기타 AI 안전 논쟁은 전부 틀렸다

페이지 정보

작성자 관리자
댓글 0건 조회 166회 작성일 24-08-19 09:48

본문

AI 안전 논쟁은 전부 틀렸다

20240819%EC%9D%B4%EB%AF%B8%EC%A7%80005.png

최근 몇 년 동안 중국, 미국, 영국, 유럽 연합이 인공지능의 안전성을 최우선 과제로 삼으면서 거대한 산업이 등장했습니다. 자동차와 제약품부터 공작 기계와 잔디 깎는 기계에 이르기까지 모든 기술은 가능한 한 안전하게 설계되어야 합니다(초창기에 소셜 미디어에 대한 조사가 더 많이 이루어졌으면 하는 바람입니다). 하지만 단순히 안전 문제를 제기하는 것만으로는 충분하지 않습니다. AI의 경우 논쟁은 "AGI(인공 일반 지능)로 인한 재앙적 위험으로부터의 안전성"에 지나치게 집중되어 있습니다. 즉, 대부분의 인지 작업에서 모든 인간을 능가할 수 있는 초지능을 의미합니다. 문제는 "정렬" 문제입니다. 즉, AI 모델이 사용자와 설계자의 목표와 가치에 맞는 결과를 생성하는지 여부입니다. 이 주제는 초지능 AI가 등장하여 인류를 파괴하는 다양한 공상과학 시나리오로 이어집니다. 베스트셀러 작가 브라이언 크리스찬의 The Alignment Problem은 대부분 AGI에 초점을 맞추고 있으며, 같은 우려 사항으로 인해 이 분야의 주요 회사 중 하나인 Anthropic은 윤리적 가치와 원칙을 담은 자체 "헌법"을 갖춘 모델을 구축했습니다. 하지만 이러한 접근 방식이 오도될 수 있는 데에는 적어도 두 가지 이유가 있습니다. 첫째, 현재의 안전 논쟁은 (도움이 되지 않는) AI를 의인화할 뿐만 아니라 잘못된 대상에 초점을 맞추게 합니다. 모든 기술은 선이나 악에 사용될 수 있기 때문에 궁극적으로 중요한 것은 누가 그것을 제어하고, 그 목표가 무엇이며, 어떤 종류의 규제를 받는지입니다. 아무리 많은 안전 연구를 하더라도 2017년 버지니아 샬러츠빌에서 열린 백인 우월주의자 집회에서 자동차가 무기로 사용되는 것을 막을 수 없었을 것입니다. AI 시스템이 고유한 성격을 가지고 있다는 전제를 받아들인다면, 우리의 유일한 선택은 추상적으로 올바른 가치와 헌법을 갖도록 하는 것이라고 결론 내릴 수 있습니다. 하지만 그 전제는 거짓이며 제안된 해결책은 훨씬 부족합니다. 물론, 반론은 AGI가 달성된다면 시스템이 인간의 목표와 "일치"했는지 여부가 정말 중요할 것이라는 것입니다. 왜냐하면 초지능의 교활함을 억제할 보호 장치가 남지 않을 것이기 때문입니다. 하지만 이 주장은 AI 안전 논의의 두 번째 문제로 이어집니다. 우리가 AGI로 가는 길에 있다 하더라도(매우 가능성이 낮아 보임) 가장 즉각적인 위험은 여전히 인간이 초지능이 아닌 AI를 오용하는 것입니다. 미래(예를 들어 2040년)에 AGI가 발명될 시간(T)이 있고, 그때까지 AGI가 없는 AI 시스템은 여전히 비자율적일 것이라고 가정해 보겠습니다.(AGI 전에 스스로 행동하게 된다면 그 날을 T라고 합시다.) 이제 T보다 1년 전의 상황을 생각해 보겠습니다. 그 시점까지 AI 시스템은 매우 유능해질 것입니다(초지능의 정점에 있기 때문에). 그러면 우리가 묻고 싶은 질문은 지금 누가 통제하고 있는가입니다. 물론 답은 인간 에이전트일 것입니다.개별적으로 또는 정부, 컨소시엄 또는 법인의 형태로 집단적으로. 논의를 단순화하기 위해 이 시점에서 AI를 담당하는 인간 에이전트를 Corporation X라고 부르겠습니다. 이 회사(앞으로 살펴보겠지만 두 개 이상의 회사일 수도 있고, 더 나쁠 수도 있음)는 원하는 모든 목적으로 AI 역량을 사용할 수 있습니다. 민주주의를 파괴하고 사람들을 노예화하고 싶다면 그렇게 할 수 있습니다. 많은 논평가가 AGI에 부여하는 위협은 AGI보다 먼저 도래했을 것입니다. 사실, 상황은 이 설명보다 더 나쁠 가능성이 큽니다. Corporation X는 민주주의를 파괴하려는 의도가 없더라도 비슷한 결과를 가져올 수 있기 때문입니다. 자체 목표가 민주주의와 완전히 일치하지 않는다면(이는 불가피한 일입니다), 민주주의는 의도치 않은 결과로 피해를 입을 수 있습니다(소셜 미디어의 경우처럼). 예를 들어, 불평등이 어느 정도 한계를 넘으면 민주주의의 적절한 기능을 위협할 수 있지만, 그 사실이 Corporation X가 자신이나 주주를 부유하게 하기 위해 할 수 있는 모든 것을 하는 것을 막지는 못할 것입니다. 악의적 사용을 방지하기 위해 AI 모델에 내장된 보호 장치는 아무 의미가 없습니다. 왜냐하면 Corporation X는 여전히 원하는 대로 기술을 사용할 수 있기 때문입니다. 마찬가지로, 두 회사, 즉 Corporation X와 Corporation Y가 고도로 유능한 AI 모델을 제어한다면, 그 중 하나 또는 둘 다 사회적 응집력, 민주주의, 인간의 자유에 해로운 목표를 추구할 수 있습니다. (그리고 아니요, 그들이 서로를 제약할 것이라는 주장은 설득력이 없습니다. 오히려 그들의 경쟁이 그들을 더욱 무자비하게 만들 수 있습니다.) 따라서 대부분의 AI 안전 연구자들이 원하는 것, 즉 AGI에 대한 적절한 정렬과 제약을 얻더라도 우리는 안전하지 않을 것입니다. 이 결론의 의미는 분명합니다. 우리는 기술 회사를 통제하기 위한 훨씬 더 강력한 기관과 AI를 제어하는 정부의 책임을 묻기 위한 훨씬 더 강력한 형태의 민주적이고 시민적인 행동이 필요합니다. 이 과제는 AI 모델의 편견이나 인간 목표와의 정렬을 다루는 것과는 완전히 별개이고 구별됩니다. 그렇다면 왜 우리는 의인화된 AI의 잠재적 행동에 그렇게 집착하는 것일까요? 일부는 과장된 광고로, 기술 산업이 더 많은 인재와 투자를 유치하는 데 도움이 됩니다. 모든 사람이 초지능 AI가 어떻게 행동할지에 대해 더 많이 이야기할수록 대중은 AGI가 임박했다고 생각하기 시작할 것입니다. 소매 및 기관 투자자는 다음 큰 일에 몰두할 것이고, 초지능 AI에 대한 공상과학 묘사를 보며 자란 기술 임원은 또 다른 무료 통행권을 얻을 것입니다. 우리는 더 즉각적인 위험에 더 많은 주의를 기울여야 합니다.민주주의를 파괴하고 사람들을 노예로 만들고 싶었다면 그럴 수 있었습니다. 많은 해설자들이 AGI에 부여한 위협은 AGI보다 먼저 도래했을 것입니다. 사실, 상황은 이 설명보다 더 나쁠 것입니다. 왜냐하면 Corporation X가 민주주의를 파괴하려는 의도가 아니더라도 비슷한 결과를 가져올 수 있기 때문입니다. 그 자체의 목표가 민주주의와 완전히 일치하지 않는다면(이는 불가피한 일입니다), 민주주의는 의도치 않은 결과로 피해를 볼 수 있습니다(소셜 미디어의 경우처럼). 예를 들어, 어떤 한계를 넘는 불평등은 민주주의의 적절한 기능을 위협할 수 있지만, 그 사실이 Corporation X가 자신이나 주주를 부유하게 하기 위해 할 수 있는 모든 것을 하는 것을 막지는 못합니다. 악의적인 사용을 방지하기 위해 AI 모델에 내장된 보호 장치는 Corporation X가 원하는 대로 기술을 사용할 수 있기 때문에 중요하지 않습니다. 마찬가지로, 두 회사, 즉 Corporation X와 Corporation Y가 고도로 유능한 AI 모델을 제어한다면, 그 중 하나 또는 둘 다 사회적 응집력, 민주주의, 인간의 자유에 해를 끼치는 목표를 추구할 수 있습니다. (그리고 아니요, 그들이 서로를 제약할 것이라는 주장은 설득력이 없습니다. 오히려 그들의 경쟁이 그들을 더욱 무자비하게 만들 수 있습니다.) 따라서 대부분의 AI 안전 연구자들이 원하는 것, 즉 AGI에 대한 적절한 정렬과 제약을 얻더라도 우리는 안전하지 않을 것입니다. 이 결론의 의미는 분명할 것입니다. 우리는 기술 기업을 통제하기 위한 훨씬 더 강력한 기관과 AI를 통제하는 정부의 책임을 묻기 위한 훨씬 더 강력한 형태의 민주적이고 시민적인 행동이 필요합니다. 이 과제는 AI 모델의 편견이나 인간의 목표와의 정렬을 다루는 것과는 완전히 별개이고 구별됩니다. 그렇다면 왜 우리는 인간화된 AI의 잠재적 행동에 그렇게 집착하는 것일까요? 그 중 일부는 과장된 것이며, 이는 기술 산업이 더 많은 인재와 투자를 유치하는 데 도움이 됩니다. 모든 사람이 초지능 AI가 어떻게 행동할지에 대해 더 많이 이야기할수록 대중은 AGI가 임박했다고 생각하기 시작할 것입니다. 소매 및 기관 투자자는 다음 큰 일에 몰두할 것이고, 초지능 AI에 대한 공상과학 묘사를 보고 자란 기술 임원은 또 다른 무료 통행권을 얻을 것입니다. 우리는 좀 더 즉각적 위험에 더 많은 주의를 기울여야 합니다.민주주의를 파괴하고 사람들을 노예로 만들고 싶었다면 그럴 수 있었습니다. 많은 해설자들이 AGI에 부여한 위협은 AGI보다 먼저 도래했을 것입니다. 사실, 상황은 이 설명보다 더 나쁠 것입니다. 왜냐하면 Corporation X가 민주주의를 파괴하려는 의도가 아니더라도 비슷한 결과를 가져올 수 있기 때문입니다. 그 자체의 목표가 민주주의와 완전히 일치하지 않는다면(이는 불가피한 일입니다), 민주주의는 의도치 않은 결과로 피해를 볼 수 있습니다(소셜 미디어의 경우처럼). 예를 들어, 어떤 한계를 넘는 불평등은 민주주의의 적절한 기능을 위협할 수 있지만, 그 사실이 Corporation X가 자신이나 주주를 부유하게 하기 위해 할 수 있는 모든 것을 하는 것을 막지는 못합니다. 악의적인 사용을 방지하기 위해 AI 모델에 내장된 보호 장치는 Corporation X가 원하는 대로 기술을 사용할 수 있기 때문에 중요하지 않습니다. 마찬가지로, 두 회사, 즉 Corporation X와 Corporation Y가 고도로 유능한 AI 모델을 제어한다면, 그 중 하나 또는 둘 다 사회적 응집력, 민주주의, 인간의 자유에 해를 끼치는 목표를 추구할 수 있습니다. (그리고 아니요, 그들이 서로를 제약할 것이라는 주장은 설득력이 없습니다. 오히려 그들의 경쟁이 그들을 더욱 무자비하게 만들 수 있습니다.) 따라서 대부분의 AI 안전 연구자들이 원하는 것, 즉 AGI에 대한 적절한 정렬과 제약을 얻더라도 우리는 안전하지 않을 것입니다. 이 결론의 의미는 분명할 것입니다. 우리는 기술 기업을 통제하기 위한 훨씬 더 강력한 기관과 AI를 통제하는 정부의 책임을 묻기 위한 훨씬 더 강력한 형태의 민주적이고 시민적인 행동이 필요합니다. 이 과제는 AI 모델의 편견이나 인간의 목표와의 정렬을 다루는 것과는 완전히 별개이고 구별됩니다. 그렇다면 왜 우리는 인간화된 AI의 잠재적 행동에 그렇게 집착하는 것일까요? 그 중 일부는 과장된 것이며, 이는 기술 산업이 더 많은 인재와 투자를 유치하는 데 도움이 됩니다. 모든 사람이 초지능 AI가 어떻게 행동할지에 대해 더 많이 이야기할수록 대중은 AGI가 임박했다고 생각하기 시작할 것입니다. 소매 및 기관 투자자는 다음 큰 일에 몰두할 것이고, 초지능 AI에 대한 공상과학 묘사를 보고 자란 기술 임원은 또 다른 무료 통행권을 얻을 것입니다. 우리는 좀 더 즉각적 위험에 더 많은 주의를 기울여야 합니다.불평등이 어떤 한계를 초과하면 민주주의의 적절한 기능을 위협할 수 있지만, 그 사실이 Corporation X가 자신이나 주주를 부유하게 하기 위해 할 수 있는 모든 것을 하는 것을 막지는 못할 것입니다. 악의적 사용을 방지하기 위해 AI 모델에 내장된 모든 보호 장치는 Corporation X가 원하는 대로 기술을 사용할 수 있기 때문에 중요하지 않습니다. 마찬가지로, 두 회사, 즉 Corporation X와 Corporation Y가 고도로 유능한 AI 모델을 통제한다면, 그 중 하나 또는 둘 다 사회적 응집력, 민주주의, 인간의 자유에 해로운 목표를 추구할 수 있습니다. (그리고 아니요, 그들이 서로를 제약할 것이라는 주장은 설득력이 없습니다. 오히려 그들의 경쟁이 그들을 더욱 무자비하게 만들 수 있습니다.) 따라서 대부분의 AI 안전 연구자들이 원하는 것, 즉 AGI에 대한 적절한 정렬과 제약을 얻더라도 우리는 안전하지 않을 것입니다. 이 결론의 의미는 분명할 것입니다. 우리는 기술 회사를 통제하기 위한 훨씬 더 강력한 기관과 AI를 통제하는 정부의 책임을 묻기 위한 훨씬 더 강력한 형태의 민주적이고 시민적인 행동이 필요합니다. 이 과제는 AI 모델의 편견이나 인간의 목표와의 일치를 다루는 것과는 완전히 별개이며 구별됩니다. 그렇다면 왜 우리는 인간화된 AI의 잠재적 행동에 그렇게 집착하는 것일까요? 그 중 일부는 과장된 것이며, 이는 기술 산업이 더 많은 인재와 투자를 유치하는 데 도움이 됩니다. 모든 사람이 초지능 AI가 어떻게 행동할지에 대해 더 많이 이야기할수록 대중은 AGI가 임박했다고 생각하기 시작할 것입니다. 소매 및 기관 투자자는 다음 큰 일에 몰두할 것이고, 초지능 AI에 대한 공상과학 묘사를 보며 자란 기술 임원은 또 다른 무료 통행권을 얻을 것입니다. 우리는 더 즉각적인 위험에 더 많은 주의를 기울여야 합니다.불평등이 어떤 한계를 초과하면 민주주의의 적절한 기능을 위협할 수 있지만, 그 사실이 Corporation X가 자신이나 주주를 부유하게 하기 위해 할 수 있는 모든 것을 하는 것을 막지는 못할 것입니다. 악의적 사용을 방지하기 위해 AI 모델에 내장된 모든 보호 장치는 Corporation X가 원하는 대로 기술을 사용할 수 있기 때문에 중요하지 않습니다. 마찬가지로, 두 회사, 즉 Corporation X와 Corporation Y가 고도로 유능한 AI 모델을 통제한다면, 그 중 하나 또는 둘 다 사회적 응집력, 민주주의, 인간의 자유에 해로운 목표를 추구할 수 있습니다. (그리고 아니요, 그들이 서로를 제약할 것이라는 주장은 설득력이 없습니다. 오히려 그들의 경쟁이 그들을 더욱 무자비하게 만들 수 있습니다.) 따라서 대부분의 AI 안전 연구자들이 원하는 것, 즉 AGI에 대한 적절한 정렬과 제약을 얻더라도 우리는 안전하지 않을 것입니다. 이 결론의 의미는 분명할 것입니다. 우리는 기술 회사를 통제하기 위한 훨씬 더 강력한 기관과 AI를 통제하는 정부의 책임을 묻기 위한 훨씬 더 강력한 형태의 민주적이고 시민적인 행동이 필요합니다. 이 과제는 AI 모델의 편견이나 인간의 목표와의 일치를 다루는 것과는 완전히 별개이며 구별됩니다. 그렇다면 왜 우리는 인간화된 AI의 잠재적 행동에 그렇게 집착하는 것일까요? 그 중 일부는 과장된 것이며, 이는 기술 산업이 더 많은 인재와 투자를 유치하는 데 도움이 됩니다. 모든 사람이 초지능 AI가 어떻게 행동할지에 대해 더 많이 이야기할수록 대중은 AGI가 임박했다고 생각하기 시작할 것입니다. 소매 및 기관 투자자는 다음 큰 일에 몰두할 것이고, 초지능 AI에 대한 공상과학 묘사를 보며 자란 기술 임원은 또 다른 무료 통행권을 얻을 것입니다. 우리는 더 즉각적인 위험에 더 많은 주의를 기울여야 합니다.모든 사람이 초지능 AI가 어떻게 행동할지에 대해 더 많이 이야기할수록 대중은 AGI가 임박했다고 생각하기 시작할 것입니다. 소매 및 기관 투자자는 다음 큰 일에 몰두할 것이고, 초지능 AI에 대한 공상과학 묘사를 보며 자란 기술 임원은 또 다른 무료 통행권을 얻을 것입니다. 우리는 더 즉각적인 위험에 더 많은 주의를 기울여야 합니다.모든 사람이 초지능 AI가 어떻게 행동할지에 대해 더 많이 이야기할수록 대중은 AGI가 임박했다고 생각하기 시작할 것입니다. 소매 및 기관 투자자는 다음 큰 일에 몰두할 것이고, 초지능 AI에 대한 공상과학 묘사를 보며 자란 기술 임원은 또 다른 무료 통행권을 얻을 것입니다. 우리는 더 즉각적인 위험에 더 많은 주의를 기울여야 합니다.