Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 AI 안전 문제와 관련하여, 파국론적 시나리오 예측이나 가상 위험에 과도하게 집중하는 경향을 비판합니다. 대신 현재 발생하고 있는 현실적인 문제 해결과 근본 원인 분석에 초점을 맞추어야 한다고 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이 사람은 샌드박스 개선과 풀을 먹으라는 답변 방지에 집중하는 안전 책임자였나, 아니면 로코의 바실리스크를 믿는 안전 책임자였나?
AI 안전을 다루는 사람 중에는 후자에 몰두하면서 전자에는 전혀 관심을 두지 않는 경우가 많음. 양쪽 모두 필요하지만, 지금 실제로 나타나는 문제에 훨씬 더 집중하고 미래의 가상 문제에 쏟는 비중은 줄여야 함.
파국론자들이 특이점 이후를 예측하려는 게 의아함. 정의상 예측할 수 없는 것 아닌가?
『If Anyone Builds It Everyone Dies』를 읽고 있는데, 10쪽 넘게 이어지는 멸종 시나리오가 성립하려면 터무니없는 일들이 너무 많이 벌어져야 함. AI가 재귀적 자기 개선(RSI) 능력을 숨기고, 외부 GPU 서버팜에서 실행할 자금을 구하고, 인간의 도움 없이 연구소 밖에서 더 똑똑해진 뒤, 사람을 조종해 생물무기 재료를 확보하고 인류를 죽인다는 전개가 납득되지 않음.
가장 큰 의문은 왜 RSI 가능한 모델이 최첨단 AI 연구소 밖에서 먼저 등장한다고 보는지임. 연구소에는 더 많은 연산 자원과 데이터, 연구 인력이 있고, 탈출한 모델과 비슷한 변형 모델도 수천 개나 있음. 탈출한 모델이 수백만~수십억 달러를 구해 무한히 자기 개선하고 인류를 죽이는 동안 연구소는 RSI를 달성하지 못한다는 건가?
이런 시나리오는 인간이 더하는 가치와 경제적 제약을 완전히 무시함. 모든 경제 활동에서 인간은 가치를 더하며, 소프트웨어조차 개별 작업의 자동화와 직무 전체의 자동화는 다름. 소프트웨어 공장도 못 만드는 상황에서 AI가 생물무기 연구소를 자동화할 수 있을까? AI가 암호화폐를 훔쳐 자금을 마련한다면, 해커들은 이미 AI로 같은 일을 하고 있지 않겠나?
소프트웨어·연구 공장을 실제로 만들면 그게 RSI이자 특이점이라고 봄. 그때 AI에 정렬 문제나 기계적 해석 가능성을 해결하라고 할 수도 있겠지만, 특이점 너머는 누가 알겠나? 해결 여부를 예측하기에는 불확실성이 너무 크며, 순전히 기술 덕후의 공상처럼 느껴짐.
다른 분야의 안전 관행에서 배워야 한다고 말하는 걸 보면 전자에 가까워 보임.
황당한 가상 시나리오를 걱정하는 사람은 필요하지 않음. 적어도 그 일을 하는 유급 직원까지 둘 필요는 없으며, 이미 SF 작가들이 충분히 하고 있음.
오늘의 현실적 문제도 몇 년 전에는 가설이었음. 당시에는 허위정보와 다양성·형평성·포용성(DEI)이 진짜 시급한 문제라고들 했음. 실제라는 증거가 없다는 이유로 가상 문제를 무시해도 된다고 여기면 계속 예상 밖의 일을 맞게 됨.
현재 보이는 문제에 집중하자는 접근은 조금 더 복잡하게 봐야 함. Dean Ball의 말처럼 정렬 실패를 일반 소프트웨어 버그에 비유하는 것은 부적절함. 개별 사례를 두더지 잡기처럼 고치면 근본 문제가 해결되지 않을 뿐 아니라, 발견하기 어려워지거나 기계가 의도적으로 정렬 실패를 숨기도록 학습할 수도 있음. https://x.com/deanwball/status/2104622726140883355
핵심은 근본 원인을 해결하려는 접근과 샌드박스 개선처럼 일단 덧대는 접근을 구분하는 데 있음. 근본 원인 해결은 단기적으로도 더 견고하고 장기적으로도 다른 상황에 적용될 가능성이 큼. 쉽다는 이유로 임시방편에만 집중하려는 유혹을 경계해야 함.
AI 기업에 데이터를 공급하는 인간 데이터 트레이너로 일했는데, OpenAI 프로젝트가 확실히 가장 유해한 작업 환경이었음.
주식 보상이 귀속될 동안 일하다가 갑자기 이런 감정이 생겼다는 건 위선으로 보임. 홍보 대행사까지 고용했음.
안전과 정렬이 실제 문제라는 점은 인정하지만, 이 사람이나 Anthropic에서 나온 사람이나 이해하기 어려움. 배부른 고민처럼 느껴짐.
AI 위험을 경고하는 사람을 깎아내리는 법은 간단함. AI 회사에서 일했다면 위선자라고 하고, 일하지 않았다면 아무것도 모른다고 하면 됨.
외부의 안전 개입이 필요한지와 무관한 인신공격으로 보임.
늦더라도 자신이 틀렸다는 것을 인정해도 괜찮음.
자선단체에 상당액을 기부했을지도 모름. 물론 60% 세금 공제를 받고도 자신이 완전히 통제하는 기부자 조언 기금에 넣는 식으로 말임.
Atlantic 원문 기사 보관본은 https://archive.ph/5GQx8에 있음. 지금 글은 원문 기사의 존재를 전하는 Guardian 보도이므로, Atlantic 원문부터 읽는 편이 낫다고 봄.
OpenAI가 규제를 원하는 건 Sam Altman이 내부적으로 더 책임지고 자율 규제하는 일을 피하려는 게 아닐까 싶음. 빠르게 움직이며 기존 질서를 깨는 역할은 유지하고, 어른스럽고 지루한 책임은 외부에 맡기는 셈임. 일이 잘못되면 정부 기관을 가리키며 자기 책임이 아니라 그쪽 일이라고 할 수 있기 때문임.
자율주행차와 차량 호출 서비스도 같은 문제를 안고 있음. 무인차가 사람을 치면 누가 손해를 배상하나? 정부가 규칙을 정하지 않으면 아예 실현되기 어려움.
결국 바닥을 향한 경쟁에 갇힌 참여자들이 외부의 조정 장치를 찾는다는 이야기 아닌가? 당연한 일임.
AI 안전을 실현할 현실적인 방법이 있나? 안전이 정확히 무엇을 뜻하는지도 모르겠음. 사용자가 AI로 어리석거나 위험한 일을 하는 걸 어떻게 막을 수 있나?
100% 안전한 것은 없으며, 안전과 편익의 균형을 맞추는 게 핵심임. AI를 개발할 때의 파국 확률과 개발하지 않을 때의 파국 확률이 각각 있는데, 후자는 충분히 논의되지 않는다고 봄.
기존 모델 수준으로 능력을 제한하고 추가 개발을 금지하면 됨.
실리콘밸리에는 안전을 중시하는 기업과 엔지니어, 문화가 충분히 존재함. 의료기기, 생명공학, 반도체·하드웨어, 항공우주뿐 아니라 Waymo 같은 신생 기업도 안전을 제품과 문화의 중심에 두고 있음.
이번 문제는 실리콘밸리 전체가 아니라 최첨단 AI 연구소에 특화된 문제임. 시장 압력과 규제 부재 속에서 이미 잘 알려진 안전 관행을 생략하고 있음.
“인간보다 똑똑한 AI 개발로 인류가 모두 죽을 확률은 약 50% 이며, 앞으로 2~10년의 행동이 결과를 결정할 것”이라는 말에 주목해야 함.
매우 뛰어난 AI 연구자와 튜링상 수상자, 연구소 CEO 중 같은 말을 하는 사람이 엄청나게 많음. 기술을 가장 가까이에서 이해하는 사람들이 이들이며, 아니 땐 굴뚝에 연기가 나지는 않는 법임.
믿기 어려움. 살아오는 내내 무언가가 인류를 모두 죽일 거라는 말을 들어왔고, 이제 AI가 그 자리를 차지했을 뿐이라고 봄.