AGI의 진정한 즉각적 위험은 권력 집중이다

최근 AI가 밀레니엄 문제(Millennium Prize Problem)를 해결하고, 오랫동안 풀리지 않던 수학 문제를 다루며, 엄청난 코딩 능력을 시연하고, RSI 벤치마크에서 진전을 보이는 결과들을 보면서, 우리는 폭발적인 재귀적 자기 개선(recursive self-improvement)의 시작을 실제로 맛보고 있다고 느낍니다. 많은 문제들이 논의되고 있으며, AI 정렬(AI alignment)이 현재 가장 논쟁되는 주제이지만, 저는 훨씬 더 크고 현실적인 위협이 덮여 있다는 생각이 듭니다. 제가 말하는 것은 권력 집중입니다. 이 문제는 이미 오늘날 사회를 괴롭히고 있습니다. 부유층은 더욱 부유해집니다. 따라서 이 문제는 새롭지 않지만, AI가 여기에 엄청난 속도를 더합니다. 현재 우리는 증가하는 부의 격차를 가지고 있으며, 예를 들어 미국에서 상위 10% 가구가 기업 주식과 뮤추얼 펀드 주식의 약 88%를 소유하고 있다는 사실에서 볼 수 있습니다. 그렇다면 AGI가 여기에 투입되면 어떻게 될까요? 이 AGI는 노동을 대체함으로써 막대한 양의 GDP를 차지하게 될 것입니다. 예를 들어, 오늘날 그들이 수행하는 업무 영역에서 소프트웨어 엔지니어와 수학자들을 대체한다고 가정해 봅시다. 그것만으로도 이미 상당한 GDP 점유율입니다. 이는 소수의 AI 회사들이 점점 더 큰 비율의 GDP를 벌어들이고 있다는 것을 의미합니다. 이제 여기에 RSI까지 추가하면, 우리는 실제적인 문제를 얻게 됩니다. 본질적으로 RSI는 AI 발전을 수직적으로 폭발시키는 긍정적 피드백 루프(positive feedback loop)입니다. 이것은 매우 짧은 시간 안에 우리가 상당한 GDP 점유율을 가진 AI 회사들을 갖게 될 수 있음을 의미합니다. 이는 기본적으로 AI 회사들이 부를 축적하는 전체 과정에 대한 가속화입니다. 자, 이 모든 것이 어디로 향할까요? 만약 모든 부가 계속해서 더 집중된다면, 최종 시나리오는 극도로 부유한 소수의 엘리트들일 것입니다. 그리고 만약 부가 곧 권력이라면, 그것은 그들이 기본적으로 다른 모든 사람들을 지배한다는 것을 의미하지 않을까요? 그리고 대답은 '그렇다'입니다. 이것은 사회가 언젠가 직면해야 할 문제였지만, 이제 AGI와 함께 그 날이 이미 우리 문을 두드리고 있습니다.

여기서의 문제는 이것이 논의되지 않는다는 점이며, AI가 정말로 통제 불능 상태가 되면 사람들이 권력 역학 관계보다는 정렬(alignment)이나 일자리 안정 같은 것에 초점을 맞출 가능성이 매우 높을 수 있다는 것입니다. 제가 이것들이 중요하지 않다고 말하는 것은 아니지만, 권력 역학 관계의 이러한 변화에는 실질적인 위험이 존재합니다. AI 기업들이 불균형한 양의 부를 축적하고, 특히 인구의 상당 부분이 일자리를 잃는 것과 결합될 때, 매우 불평등한 의존 관계가 형성됩니다: 시민들, 특히 실직자들은 AI 기업들에 의존하게 됩니다. 물론 우리는 기본소득(UBI)을 기대할 수 있고, 이것이 도움이 될 것이지만, 그것은 단지 인구를 일시적으로 진정시키기 위해 주어지는 구걸에 불과합니다. 이는 근본적인 권력 역학 관계를 전혀 변화시키지 못합니다. 만약 어느 시점에서 올리가르히(oligarchs)들이 우리가 불복종한다고 느낀다면, 그들은 이론적으로 우리의 UBI를 중단시킬 수 있습니다. 보시다시피, 우리는 기본적으로 그러한 상황에 처하는 것을 원하지 않습니다. 따라서 우리는 인식이 필요합니다. 권력 집중이 일어나고 있으며, 너무 늦어지는 지점이 있을 것이라는 인식 말입니다. 이미 일어나고 있으며, 여러분의 시간표에 따라 RSI(상대강도지수)를 고려할 때 매우 빠르게 여기에 도달할 수도 있습니다. 동시에, 정렬과는 달리, 이것은 로봇들이 거리를 돌아다니며 사람들을 죽이는 상황을 야기하여 긴급한 주의가 필요하지는 않습니다. 오히려, 그것은 조용한 살인자일 수 있습니다: 우리 모두가 다른 것에 정신이 팔려 있는 동안, 권력 집중은 되돌릴 수 없는 지점에 도달할 수 있습니다. submitted by /u/PianistWinter8293 to r/OpenAI [link] [comments]