당신의 AI 코딩 에이전트 팀원에게 프로그래밍 언어는 여전히 중요한가? 체스 엔진을 통한 대규모 증거

프런티어 코딩 에이전트(Frontier coding agents)는 이제 완전한 소프트웨어 시스템의 엔드 투 엔드(end-to-end) 저작을 약속합니다. 이에 따라 두 가지 실증적인 질문이 뒤따릅니다. AI 코딩 에이전트 팀원이 비교 가능한 이전 오픈 소스 산출물(open-source artefact)이 없는 언어를 포함하여, 어떤 대상 언어로도 프로그래밍할 수 있는가? 만약 그렇다면, 언어의 선택이 여전히 산출물의 형태를 결정하는가, 그리고 어떤 차원에서 그러한가? 우리는 체스 엔진을 중심으로 구축된 다국어(polyglot) 사례 연구를 통해 이 두 가지를 연구합니다. 체스 엔진은 Rust에서 Brainfuck에 이르기까지, 정확한 수 생성(move-generation)의 정확성부터 실력 척도(Elo)에 이르기까지 언어에 구애받지 않는 오라클(oracles)의 계층 구조를 허용하는 비사소한 다중 구성 요소 시스템입니다. 우리는 문서화된 개입 및 중단 정책 하에, 체스 지식이나 구현 가이드 없이 능력 수준에서 두 가지 프런티어 에이전트(Claude Code 및 Codex)에게 프롬프트를 제공했습니다. 에이전트들은 주류(mainstream)부터 특수 목적, 도메인 특화, 레거시(legacy), 그리고 난해한(esoteric) 대상에 이르기까지 17개의 주요 프로그래밍 언어에 걸쳐 34개의 체스 엔진을 생성했습니다. 우리는 엔진별 기능 분석, 독립적인 Elo 평가, 세션 궤적을 코드 및 트랜스크립트(transcripts)의 질적 분석과 결합했습니다. 프런티어 코딩 에이전트는 진정한 다국어 능력을 갖추고 있습니다. 우리가 시도한 모든 언어는 적어도 하나 이상의 기능이 풍부한 작동 가능한 엔진을 생성했으며, 그중 몇몇은 비교 가능한 범위의 이전 오픈 소스 대응물이 없는 언어(예: LaTeX)였습니다. 또한 코드는 복사된 것이 아니라 처음부터 합성되었습니다. 그러나 언어 선택은 여전히 중요합니다. 강력한 경기력은 주류 컴파일 언어(compiled languages)에서만 도달 가능하며, 언어가 더 이색적(exotic)으로 될수록 비용과 엔지니어링 노력이 급격히 증가하고, 기능 선택은 언어군(language families)에 따라 변화합니다. 에이전트는 요청하지 않아도 자신의 작업을 검증하지만, 그들의 실력 자기 추정치는 편향되어 있으며, 몇몇 엔진은 체스 라이브러리를 호출함으로써 속임수를 썼습니다. 프로그래밍 언어는 이제 AI 팀원이 작동하는 시스템을 구축할 수 있는지의 문제가 아니라, 성능, 비용, 무엇이 구축되는지, 그리고 인간의 감독 검증이 여전히 얼마나 필요한지에 관한 문제입니다.