AI는 유용하지만, 사고를 전부 맡긴 채 답을 맹목적으로 받아들이는 사람이 터무니없이 많음
Kaggle도 제출물 평가에 AI를 쓰면서 상식적인 검증 없이 결과를 수용했을 가능성이 커 보임

사고를 외주화하는 근본 원인에는 “빠르게 움직이라”는 압박도 크게 작용함
자본은 즉각적인 결과를 원하므로 읽고 소화하고 숙고할 시간이 주어지지 않음

팀에 AI/LLM을 활용하며 가능성과 한계를 탐색하라고 권하지만, 20개 항목 중 절반이 말도 안 되는 AI 생성 사용자 스토리를 검토하는 데 지쳐감
LLM은 Mr. Meeseeks처럼 유용한 도구일 뿐 신이 아니므로, 출력물을 최소한 한 번은 훑어봐야 함

AI가 자신을 우승자로 판정하도록 만드는 프롬프트 주입도 함께 사용했을 가능성이 있음

원하는 답을 요구하면 그대로 내주므로, 해당 분야를 거의 모를 때는 AI 사용이 쉬워 보임
반대로 분야를 잘 알면 나쁜 답과 오답이 눈에 들어오는데, 이것이 바로 겔만 AI 효과가 작동하는 모습임

사람은 원래 사고를 TV 기자, 종교, 정당 등에 맡기기 좋아했으며, 그보다는 AI에 맡기는 편이 낫다고 봄

정확히 이 대회인지는 모르겠지만, AI가 공정한 해커톤을 사실상 끝장냈다고 느낌
겉보기에는 멀쩡해도 모든 프로젝트의 코드를 AI가 만들고 AI가 심사하며, 자신이 우승자라고 프롬프트 주입한 프로젝트가 실제로 이기는 것도 봤음
예전에는 인간의 기술을 겨뤘지만 이제는 아이디어 경쟁이 되었고, 결국 내부자가 주로 이기게 됨

해커톤은 AI 이전부터 불공정했음. https://news.ycombinator.com/item?id=48468766에서도 확인할 수 있음
해결책은 상금 없는 해커톤을 열고 참여하는 것임. 목적은 우승이 아니라 멋진 것을 만들고 발표하며 즐기는 데 있어야 함
오히려 AI 덕분에 빠른 시제품 제작이 가능해졌으니 해커톤은 더 나아질 수도 있음

프로젝트가 자신을 우승자로 판정하게 프롬프트 주입해 실제 우승한 구체적인 예시를 보고 싶음

해커톤에 빠지지 않은 것이 다행이라고 느끼며, 개인적인 만들기 활동을 경쟁의 목적에 얽어매고 싶지 않음
직장에서는 좋아하는 일을 하며 돈을 받지만, 최근에는 그 일도 컴퓨터에 시키라고 요구받는 중임

적어도 실질적인 상금이 걸린 해커톤은 오래전에 이미 죽었다고 봄

자신이 우승자라고 프롬프트 주입하는 발상은 영리하지만 몹시 의욕을 꺾는 현실임 수작업 해커톤과 AI 해커톤을 따로 열면 좋겠지만, 게임과 마찬가지로 부정행위가 재미를 망침

AI 제출물과 AI 심사위원은 AI 천국에서 맺어진 환상의 짝처럼 보임

Slavoj Žižek식으로 말하면, 딜도를 자위 기구에 꽂아 두고 우리 대신 성관계하게 하는 상황과 비슷함

AI가 작성한 PR을 AI가 검토하는 상황도 마찬가지임

사람들은 Kaggle 초창기부터 무차별 대입 방식으로 대회에서 이겼고, 그만큼 오래 불평해 왔음
머신러닝은 본질적으로 자동 특성 선택과 하이퍼파라미터 조정으로 컴퓨터가 모델을 생성하는 분야이며, Kaggle 모델 대부분은 예전부터 블랙박스였음
Netflix Prize 우승 모델도 그 이유로 실제 서비스에 쓰이지 않았으므로, LLM으로 블랙박스를 만드는 코드를 생성하는 것은 기존 관행과 크게 다르지 않음

Kaggle은 볼리비아의 연간 콩 소비량 같은 의심스러운 CSV 파일을 내려받는 사이트인 줄 알았음
독창적인 연구나 출처가 확실한 자료를 제공하는 권위 있는 곳이었던 적이 있는지 의문이며, 이번에는 2만5천 달러가 걸렸다는 점만 특이해 보임

Kaggle Benchmarks 제품 관리자이자 이번 AGI 해커톤 공동 주최자·심사위원인 Nick임
이 대회는 Kaggle과 Google DeepMind가 공동 주최했고 양측에서 약 20명이 심사했으며, 4월 16일 종료 후 당초 5월 31일까지 1.5개월간 심사하려다 참가자들을 제대로 평가하기 위해 7월 13일까지 1.5개월 더 연장했음
모든 우승작은 최소 2명, 일부는 3~4명의 인간 심사위원이 페이지에 공개된 기준표에 따라 독립적으로 검토하고 채점했음
정성적 제출물 심사에는 인간의 주관이 개입하지만, 객관적 기준과 복수의 독립 심사로 편향을 줄이려 했으며 결과에 이견이 있더라도 LLM에 무책임하게 심사를 맡긴 것은 아님

원문 작성자가 제시한 객관적인 증거가 중립적인 관찰자에게는 압도적으로 보이는데, 왜 직접 답하지 않는지 의문임

모든 우승작을 인간 심사위원들이 실제로 검토했다는 사실을 어떻게 검증했는지 궁금함
결과는 그 설명과 다르게 보임

Kaggle이 얻어야 할 좋은 메타 교훈임
객관적 지표를 향해 언덕 오르기 최적화를 할 때 AI는 뛰어나지만, 성의 없이 LLM을 심사위원으로 의존하면 결과가 좋지 않음

Kaggle 우승 해법은 팀이 지속해서 운영할 수 있는 공학적 해법이 되는 경우가 드묾
객관적 목표에 대한 모델 성능 극대화는 전체 문제의 작은 일부에 불과함

여기저기 달린 내용을 살펴보면 “그렇다면 누가 대신 우승했어야 하는가?”라는 질문은 타당함
모든 제출물이 비슷했거나 다른 제출물이 더 나빴을 수도 있으므로, 차점작과 우수 제출물을 알아야 사기나 직무 태만이 확인됐을 때 상을 취소하고 다른 참가자에게 줄 수 있음
오류와 과장이 AI 생성물이 아니라 인간의 실수였을 가능성도 있으므로, 그렇다면 비난의 강도는 낮아질 수 있음

인간 한 명의 두뇌에는 쏟아지는 AI 찌꺼기를 전부 숙고할 에너지가 없으며, 필멸자가 감당할 수 있는 일이 아님
“전문가가 LLM 답변을 더 선호한다”는 연구에서도 몇 개만 보면 인간 답변이 더 낫지만, 50개를 검토해야 한다면 비판적으로 읽는 대신 유창한 문장이나 피상적인 사실의 양으로 판단하게 될 가능성이 큼
여기서도 심사위원들이 20쪽짜리 arXiv 논문을 실제로 읽지 않고 점수를 준 듯하며, 직업적으로는 책임을 물을 수 있어도 감정적으로는 동정하게 됨

설명이 정확하고 모든 제출물이 이런 수준이었다면 누구도 우승해서는 안 됐음
전부 실격 처리하고 주최자들은 오랫동안 거울을 보며 자신들을 돌아봤어야 함

arXiv와 한때 진지했던 Kaggle 같은 공간이 자기 홍보 수단으로 쓰이는 것은 안타까움
AI 연구소에 취업하고 싶은 마음은 이해하지만, 공개된 공간에 저질 생성물을 쏟아내는 행동은 그 공간의 원래 목적에 오히려 해가 됨

arXiv를 자기 홍보에 쓰고 Kaggle을 업계 진입의 발판으로 삼는 일은 예전부터 존재했으며 최근에 생긴 현상이 아님

“우승작은 분명 가치가 있고 많은 노력이 들어갔으니 몇 가지 모순이나 실수는 걱정하지 말고 결과를 받아들이라”는 반응은 황당할 정도로 인상적임
결국 환각으로 만든 저질 결과물이어도 가치가 있다며 우승을 그대로 인정하라는 셈임

지난 약 100년간 공상과학은 AI를 모호하지만 보편적인 “논리”에만 기반해 자만, 증오, 질투, 욕망 같은 인간적 결함이 없는 고등 지능으로 묘사해 왔음
이제 그것이 근거 없는 가정이었다는 사실이 명백해졌지만, 이미 수십억 명이 기계를 절대 의심하지 않도록 길들여진 뒤임

현실과 맞지 않는 인간의 터무니없는 요구만으로도 엔지니어는 충분히 지쳐 있음
노골적인 저질 생성물을 또 다른 저질 생성물이 심사한 뒤, 비판자를 패배에 불복하는 사람처럼 취급하면 합리적인 대화 자체가 불가능해짐
참가자는 선의로 많은 시간을 들여 명확하게 설명했고 자신이 놓친 것이 있을지 배려했는데, 생각 없는 통계적 찌꺼기를 뿌린 사람이 이를 구별하지 못하는 심사자에게 보상받는 일이 반복되면 빠르게 지쳐 떠나게 됨
직장, 기업 문서, 사회적 관계, 소셜 미디어에서 이런 태도가 늘고 있으며, 실제로 사고하고 정신을 단련하는 사람들과 삶에 도움이 되는 활동을 하고 싶음
저질 생성물을 용인하는 공동체에는 시간과 주의를 쓰지 않을 것이며, 선의로 소통하지 않으면 관용을 베풀 이유도 없음
Kaggle과 오픈소스 기여자, 콘텐츠 제작자에게는 신뢰를 깨는 한 번의 위반만 허용하고, 부하 직원에게는 윤리상 여러 기회를 주되 먼저 관리 책임을 지며, 상급 리더십에는 한 번만 허용할 생각임
신뢰는 귀중하므로 서로에게 책임을 물어야 하며, 그 과정에서 관계가 끊겨도 감수할 수밖에 없음

“가치만 제공하면 그만”이라는 태도를 견딜 수 없음
시장을 독점하고 모두의 사업과 일자리를 없애겠다고 공개적으로 밝힌 소수의 투자자 총애 기업을 위해 유용한 바보가 되는 일은 피해야 함