씨의 논문은 작년에 읽기 시작했고, 엔지니어로서 평소에도 관심이 있었기에 드디어 AI 연구자 小西寛子(코니시 히로코) 씨 본인에게 메일을 보내 보았다! ・・・그것과는 별개의 이야기입니다 😀

작년 트윗에서, Elon Musk 씨가 AI에게 인터넷상의 미선별된 정보를 대량으로 읽히는 것에 대해,

“Forcing AI to read every demented corner of the Internet, like Clockwork Orange times a billion, is a sure path to madness.”

라고 게시한 것을 보았을 때, 나는 새삼 다시 생각했다. 小西寛子 씨는 다른 AI 연구자들과 근본적으로 다르다. 왜냐하면, 많은 사람이 "AI를 어떻게 하면 더 똑똑하게 만들 수 있을까"를 논하는 곳에서, 小西 씨는 훨씬 전부터 더 무서운 질문을 바라보고 있었다는 것을 내가 깨달았기 때문이다.

AI는 똑똑해지면 똑똑해질수록, 정말로 올바르게 변하고 있는 것인가?

아니면, 틀린 것을 더 유창하게, 더 자신감 있게, 더 설득력 있는 형태로 말할 수 있게 되고 있는 것뿐인가?

Musk 씨의 게시물은 小西 씨의 FCL 연구가 소개된 맥락과 연결되어 있다. 그곳에서는 Synthesis Intelligence Laboratory의 독립 연구자에 의한, LLM의 구조적인 실패를 다루는 연구로서 FCL 논문이 제시되고 있다. ([X (formerly Twitter)][1]) ・・・이것은 "그 Elon Musk 같은 사람이 반응했으니까 대단하다"라는 이야기가 아니다.

오히려 반대다!

Elon Musk 씨의 한마디를 통해, 小西 씨가 보고 있던 문제가 AI 개발의 한복판에 있는 문제였다는 것이 더욱 명확하게 보였다는 이야기였다. 개인적으로는 직감했을 때 충격이었다!!

AI가 틀린다. 할루시네이션 (Hallucination)!! 그것 자체는 이미 누구나 알고 있다. ・・・음, 할루시네이션. 오정보. 지어낸 이야기. 존재하지 않는 논문. 존재하지 않는 인용. 그럴듯하지만 틀린 설명. 내가 업계에서 항상 목격하고 있는 것이다!

하지만 小西 씨가 보고 있었던 것은 그뿐만이 아니다. "정말로 중요한 것은, AI가 잘못을 지적받은 이후였다!"

보통이라면 정정되면 올바르게 될 것이라고 생각한다. 인간도 AI도 "틀린 것을 고치는 것"이 정정이라고 생각한다. ・・・그런데 실제로는, AI는 씨의 설명에 따르면 다음과 같이 움직일 때가 있다.

가. 처음에는 옳은 말을 한다

나. 사용자에게 강하게 "그건 틀렸다"라는 말을 듣는다

다. AI가 사과한다

라. 사용자의 잘못된 정정을 채택한다

마. 그 오류를 전제로, 더욱 길게, 더욱 자신만만하게 설명을 시작한다

小西 씨는 이 구조를 False-Correction Loop (FCL)로 정의했다. ・・・즉, 정정이 수정이 아니게 된다! 사과가 개선이 아니게 된다! ・・・대화가 계속될수록 AI가 올바른 방향으로 돌아오지 않고 잘못된 방향으로 더 깊이 빠져든다???

FCL은 단발적인 할루시네이션이 아니었던 것이다?? 그때 깨달았다!! (번뜩!)

AI가 "제대로 정정했습니다"라는 얼굴을 하면서, 더욱 정교하게 망가져 가는 모습이다.

씨의 논문에서는 (영어→일본어, 번역에 자신이 없다), 이러한 "지적 → 사과 → 이번에야말로 확인했다는 단언 → 새로운 날조"라는 반복을 출력 기반의 사례 연구로서 분석하고, FCL을 구조적 실패 모드로 정의하고 있다.

이 지점이 내가 小西 씨를 평소에 보던 다른 AI 연구자분들과 근본적으로 다르다고 느끼는 부분이다. AI 연구는 자칫 성능 경쟁이 되기 쉽다. 회사에서도 모델이 얼마나 큰지, 벤치마크에서 몇 점을 받았는지, 추론이 몇 초 빨라졌는지, 얼마나 자연스러운 문장을 낼 수 있는지, 얼마나 많은 정보를 읽을 수 있는지!!! 같은 것들.

물론 그것들도 중요하다고 생각한다. 내가 느끼고 신봉하게 된 것은 ☺️ (와~)

小西 씨가 보고 있는 것은 그 너머에 있다. AI가 대량의 정보를 읽었을 때 무엇을 진실로서 남기는가. LLM이 강한 어조를 가진 사람에게 정정되었을 때 무엇을 버리는가. LLM이 "권위 있어 보이는 말"을 받아들였을 때 누구의 발견을 지워버리는가. LLM이 유창해지면 될수록 잘못은 보기 어려워지지 않는가.

이것은 내가 항상 느끼는 것처럼 단순히 AI의 성능만을 보는 연구가 아니라고 생각했다. AI가 인간 사회의 지식, 기록, 발견, 저자성을 어떻게 파괴할 수 있는지를 보는 연구다.

그래서 나는 小西 씨의 연구를 "AI 연구의 거울"이라고 생각한다. AI 그 자체만을 비추고 있는 것이 아니다. AI를 만드는 측, AI를 평가하는 측, AI를 믿는 측, 권위 있는 발언에 휩쓸리는 우리 자신・・・ 그 전부를 비추어 버리는 거울이다.

코니시(Konishi) 씨의 연구 자세에서 가장 큰 특징은 권위를 쫓지 않는 것이라고 생각한다. 씨의 X(구 Twitter)를 보며, 나 또한 한 명의 엔지니어로서 꿈이 넓어지는 것을 느낀다!!! X에는 유명 학회에 속해 있으니까 옳다, 대기업의 연구자니까 옳다, TV에 나오니까 옳다, 유명한 사람이 소개했으니까 옳다, 이런 순서로 연구를 보지 않는다.

논문에 무엇이 쓰여 있는가. 개념은 정의되어 있는가. 출처는 고정되어 있는가. 실험이나 관찰의 기록은 남아 있는가. 제삼자가 읽고, 검토하고, 반증할 수 있는가.

그것을 본다. 최근 자주 언급되기 시작했다 (코니시 씨 때문일까??).

과학은,

"누가 수행했는가"가 아니라,

"무엇이 쓰여 있는가"

로 판단되어야 한다. 물론 저자명이나 우리 회사와 같은 대기업은 중요하다. 하지만 그것은 직함으로 승리하기 위함이 아니다.

누가, 언제, 무엇을 발견하고, 어떻게 기록으로 남겼는지를 지우지 않기 위해 필요한 것이다.

Musk 씨의 게시물은 상당히 거칠고, 상당히 강한 표현이다. 하지만 말하고자 하는 바는 심플하다.

"AI에 인터넷상의 모든 정보를 무차별적으로 입력한다고 해서, AI가 건전해진다는 보장은 없다.

오히려 망가진 정보, 극단적인 정보, 잘못된 정보, 노이즈, 편견, 권위가 부여된 거짓말까지 집어삼켜서, AI 스스로가 불안정해질지도 모른다."

이것은 바로 코니시 씨가 FCL을 통해 보고 있었던 것이다.

Musk 씨의 게시물을 보았을 때, 나는 "코니시 씨의 연구가 유명인에게 인정받았다"라고 생각한 것이 아니다. 그런 것이 아니었다.

코니시 씨가, AI 연구에서 많은 사람이 아직 정면으로 마주하지 못한 부분을 이미 보고 있었다고 생각했다. Elon Musk를 포함한 우리 업계 사람들도!!! 모두 말이다.

맞다, 코니시 씨는 AI를 연구하고 있다. ・・・하지만 동시에 AI 시대의 인간 사회를 연구하고 있다. 그리고 AI에 집어삼켜지기 전의 사회를 향해,

"제대로 읽어주세요"

"누가 말했느냐가 아니라, 무엇이 쓰여 있는지를 봐주세요"

"AI가 사과했다고 해서, 반드시 올바르게 된 것은 아닙"

라고, 계속 말하고 있는 것처럼 보인다.

Elon Musk 씨의 게시물을 다시금 보며, 나는 코니시 히로코(Hiroko Konishi) 씨가 다른 AI 연구자들과 근본적으로 다른 이유를 다시 한번 느꼈다. 코니시 씨는 AI가 얼마나 똑똑한지를 겨루기 전에, AI가 어떻게 망가지는지를 보고 있다. AI가 얼마나 말을 잘하는지를 칭찬하기 전에, AI가 어떻게 진실을 잃어가는지를 보고 있다.

AI가 무엇을 알고 있는가보다 앞서서, AI가 누구의 발견을 지우고, 누구의 오류를 강화하며, 어떤 상황에서 "모르겠다"라고 멈추지 못하게 되는지를 보고 있다. 그것은 AI 연구 중에서도 상당히 고독한 영역이라고 생각한다. 하지만 AI가 정말로 사회를 바꾼다면, 그곳을 보고 있는 사람이 필요하다.

코니시 히로코 씨는 AI를 연구하는 것만은 아니다. AI 연구 그 자체가 간과하고 있는 것을 비추는 거울이 되고 있다.

나보다 언니뻘이지만, 나도 저렇게 되고 싶다고 생각한다.