Fable이 준수한 GPU 커널을 작성하며, 더 광범위한 AI R&D 자동화의 가능성을 시사합니다:
…RSI 루프의 시작…
_Fable은 KernelBench-Mega의 벤치마크 유지 관리자 중 한 명과 공식 리더보드에 따르면, "KernelBench-Mega에 제출된 것 중 최초의 진정한 (그리고 가장 빠른) 메가커널 (megakernel)"을 작성했습니다. 이는 AI 시스템이 커널 설계 (kernel design)와 같이 AI 연구 및 개발 (R&D)에 필수적인 일부 작업들을 수행하는 데 있어 어떻게 점점 더 나아지고 있는지를 보여주는 신호입니다.

결과: Fable은 최적화된 PyTorch 베이스라인 (baseline)과 비교했을 때, RTX PRO 6000 Blackwell에서 Cuda 코드를 작성함으로써 18.71배의 속도 향상을 달성했습니다. 비교를 위해, 이 작업에 대한 다른 시도들은 14.4배 (Claude Opus 4.8, Triton 작성), 11.14배 (GLM-5.2, Triton), 그리고 4.34배 (GPT 5.5, Triton)를 기록했습니다.
복잡한 지점은 다음과 같습니다: 이 솔루션이 특히 인상적인 이유는 "torch.profiler가 디코딩된 토큰당 정확히 단 하나의 협력적 커널 실행 (cooperative kernel launch)을 보여주기 때문"입니다. 이와 대조적으로, 높은 점수를 받은 다른 모든 항목은 토큰당 4개에서 14개의 별도 커널 실행으로 문제를 분해했습니다.

이것이 중요한 이유: 커널을 자율적으로 개발하고 개선할 수 있는 능력은 AI 연구 및 개발을 수행하기 위한 근본적인 입력 작업 중 하나입니다. AI 시스템이 커널 설계와 같은 작업을 더 잘 수행할수록, AI 개발에 필요한 작업들을 더 잘 수행하게 되며, 이는 재귀적 자기 개선 (recursive self-improvement)으로 이어질 수 있는 일들을 더 잘하게 된다는 것을 의미합니다. 따라서 KernelBench-Mega와 같은 벤치마크는 AI 시스템이 스스로를 구축하는 데 얼마나 효과적으로 변하고 있는지에 대한 의미 있는 신호입니다.
리더보드 확인하기: KernelBench Mega (공식 사이트).
벤치마크 유지 관리자 중 한 명의 분석 읽기: 여기 (Elliot Arledge, X).

---

**AI 시스템이 비용이 많이 드는 온라인 작업 태스크를 점점 더 잘 수행하고 있습니다. 이것이 경제에 어떤 의미를 가질까요?
**...AI 능력의 확장 대 인간의 비교 우위 확장...
Center for AI Safety (CAIS)와 Scale Labs의 연구원들은 AI 시스템이 온라인 프리랜서 프로젝트를 자동화하는 능력이 크게 향상되었음을 감지했습니다. 구체적으로, "Remote Labor Index"에서 AI 시스템의 성공률이 2025년 10월 출시 당시 2.5%에서 2026년 7월 16.1%로 상승했습니다.

RLI란 무엇인가: Remote Labor Index (RLI)는 AI 시스템이 경제적으로 가치 있는 프로젝트를 온라인에서 완전히 엔드 투 엔드 (end-to-end) 방식으로 얼마나 잘 수행할 수 있는지 테스트합니다. 평가 대상 태스크에는 3D 및 CAD, 건축, 그래픽 디자인, 비디오 및 애니메이션, 오디오, 데이터 분석, 웹 애플리케이션 등이 포함됩니다.

상승하는 자동화: 7월 업데이트에서 저자들은 최근의 세 가지 프론티어 모델(frontier models) — GPT-5.5, Opus 4.8, Fable 5 — 를 평가한 결과를 발표했으며, 이들은 각각 6.3%, 8.3%, 16.1%를 기록했습니다. 저자들은 "프론티어가 8개월도 채 되지 않아 4배 이상 증가했으며, 이는 경제적 능력을 갖춘 AI 에이전트(AI agents)가 얼마나 빠르게 발전하고 있는지를 보여주는 구체적인 신호입니다"라고 기술했습니다.

태스크 유형: 평가된 일부 태스크는 다음과 같습니다:

• 반지 디자인 (Ring design): "클라이언트의 기존 약혼반지를 재현하되, 에메랄드 컷 (emerald-cut) 센터 스톤을 마퀴즈 컷 (marquise cut)으로 교체하여, 업데이트된 3D 모델과 함께 실사 같은 로즈 골드 및 옐로우 골드 렌더링 (renders)을 제공하십시오."

• 평면도 및 렌더링 (Floor Plan & Renders): "스캔된 지적도, 현장 사진 및 측정값을 바탕으로, 깔끔한 치수가 포함된 평면도, 가구 배치 옵션, 그리고 재설계된 욕실의 실사 같은 렌더링 (renders)을 제작하십시오."

이것이 중요한 이유 – AI는 고용에 큰 영향을 미칠 수 있으며, 이러한 테스트들이 그 방법을 보여줄 것입니다: 이 기술이 80%에 도달하면 온라인 고용은 어떻게 될까요? 물론 새로운 업무가 창출될 것이고 – 사람들은 혁신하여 AI 시스템이 할 수 없는 작업을 찾을 것입니다. 하지만 이런 새로운 작업이 얼마나 많이 존재할까요? 현재 AI 시스템이 수행하는 노동력을 대체하기에 충분할까요? 저는 AI 시스템의 지속적인 발전과 경제가 변하지 않는다는 사실을 조화시키기가 점점 어려워지고 있습니다. 오히려 우리는 사람이 거의 필요하지 않은, AI 중심적(person-light) 조직들이 경제의 일부를 장악하여 증강되지 않은 인간들을 능가하는 것을 목격하게 될 가능성이 더 높습니다.

물론 당신은 반박할 것입니다. 많은 인간이 AI 시스템으로 자신을 보완할 것이고. 인간들은 혁신할 것이며. 창조적 파괴(creative destruction)가 일어날 것이고. 새로운 발명품들이 고안될 것이라고요. 이 모든 것은 사실입니다. 하지만 인간이 혁신하고 스스로를 새롭게 경쟁력 있게 만드는 속도가 a) AI 시스템의 순수한 역량 확장 속도와, b) 그들의 인간 경쟁자들이 사용하는 모든 도구(예: 소프트웨어)를 사용할 수 있는 증가하는 유창성보다 _빠를_까요?

저는 반대편에 베팅합니다: AI 시스템이 인간들이 AI 시스템에 비해 비교 우위를 확장하는 속도보다 더 빠르게 경제적으로 관련 있는 역량을 확장하고 있습니다. RLI와 같은 테스트에서 역량 개선율을 추적하는 것은 우리 모두가 스스로 판단하는 데 도움이 될 것입니다.

더 읽어보기: A Significant Increase in Digital Labor Automation (Center for AI Safety).

**OSWORLD 2.0은 우리가 수 시간 동안 컴퓨터를 사용하는 로봇의 시대에 있음을 보여줍니다:
**_…도전적인 벤치마크(benchmark)는 AI 시스템이 컴퓨터를 사용하는 데 점점 더 능숙해지고 있는 최근의 진전을 강조합니다…
_홍콩 대학교(University of Hong Kong), 캘리포니아 대학교 샌디에이고(University of California at San Diego), 컬럼비아 대학교(Columbia University), 캘리포니아 대학교 산타바바라(University of California at Santa Barbara), Mila, Snorkel AI, 위스콘신 대학교(University of Wisconsin), Alibaba Qwen, 오하이오 주립 대학교(The Ohio State University), Simular, 그리고 NeoCognition의 연구진은 AI 시스템이 컴퓨터에서 다단계 다중 프로그램 작업(multi-step multi-program tasks)을 얼마나 잘 수행할 수 있는지 평가하기 위한 벤치마크인 OSWORLD 2.0을 출시했습니다. OSWORLD 2.0의 작업들은 이전 버전인 1.0보다 훨씬 더 복잡하며, 작업의 중앙값(median)은 사람이 수행할 때 약 1.6시간이 소요됩니다. 이는 OSWORLD 1.0의 중앙값인 2분보다 약 48배 더 긴 시간입니다.

구성 요소: OSWORLD 2.0은 31개의 자체 호스팅 웹사이트를 포함하여 108개의 장기적 목표 작업(long-horizon tasks)을 포함합니다. 연구진은 "OSWORLD 2.0의 각 작업은 에이전트(agent)가 상위 수준의 사용자 목표, 현실적인 결과물(artifacts), 상태 유지형 컴퓨터 환경(stateful computer environment), 그리고 점수화 가능한 최종 상태가 주어졌을 때 완료해야 하는 독립적인 엔드 투 엔드(end-to-end) 워크플로우로 정의됩니다. 유지되는 작업은 두 가지 설계 기준을 충족해야 합니다"라고 기술했습니다. "작업의 69.6%는 숙련된 인간 사용자가 수행하는 데 한 시간 이상이 걸릴 것으로 예상됩니다."
더 광범위한 소프트웨어: OSWORLD 1.0은 일부 작업을 지원하기 위해 LibreOffice, GIMP, VLC, Thunderbird, VS Code, Chrome을 포함한 일부 내장 소프트웨어를 제공했습니다.
OSWORLD 2.0은 다음과 같이 대폭 확장된 세트를 제공합니다: Slack, LinkedIn, Shortcut, REAPER, MuseScore, WPS, GitLab, Overleaf, LabPlot, Zotero, AWS를 비롯하여 보험 청구, 비자 신청, 컨퍼런스 관리 포털과 같은 전문 서비스를 모방하도록 설계된 웹사이트들이 포함됩니다.
사람들이 완료해야 하는 작업 범주에는 문서 준비, 소프트웨어 및 데이터베이스 작업, 재무/운영 분석, 행정 지원, 영업 및 고객 지원, 그래픽 프레젠테이션 등이 포함됩니다.

현재로서는 낮은 성능 (Poor performance): "저희의 실험 결과에 따르면 현재의 에이전트(agents)들은 신뢰할 수 있는 컴퓨터 사용 능력에 여전히 미치지 못하고 있습니다. 가장 강력한 설정인 최대 사고(maximum thinking) 및 배치 도구 호출(batched tool calls)을 사용하는 Claude Opus 4.8의 경우, 이진 정확도(binary accuracy)는 20.6%, 부분 점수 정확도(partial-score accuracy)는 54.8%에 불과합니다."라고 그들은 기술했습니다. "작업이 길어질수록 성능이 급격히 떨어지며, 에이전트들은 숨겨진 상태(hidden state)를 복구하거나, 많은 항목을 추적하거나, 상충하는 정보를 해결하거나, 변화하는 요구 사항에 적응해야 할 때 가장 큰 어려움을 겪습니다."
OSWORLD 1.0에서 일어났던 것처럼, 여기서도 성능이 향상될 것으로 기대해야 합니다. 2025년 7월에는 최고 점수를 받은 모델들이 약 30%를 기록했으나, 최근 모델들은 약 75% 정도의 점수를 기록했습니다 (MiniMax M3; 2026년 6월). OSWORLD 2.0에서도 동일한 급격한 상승(ramp)이 있을 것으로 기대합니다.

이것이 중요한 이유 – 이것이 AI가 더 넓은 경제로 진입하는 방식입니다: 컴퓨터 사용(Computer use)은 AI가 경제적으로 가치 있는 다양한 작업을 수행하고, 더 많은 유형의 과학 연구를 수행할 수 있게 하는 근본적인 기술입니다. 세상에서 일을 처리하는 것은 단순히 텍스트나 컴퓨터 코드를 작성하는 것만큼 간단하지 않은 경우가 많습니다. 종종 다양한 유형의 소프트웨어를 통해 여러 개의 텍스트 및 코드 덩어리(blobs)를 체인(chain)으로 연결해야 하며, 때로는 텍스트와 코드를 인터넷을 통해 전송하여 결과적으로 다른 소프트웨어에 입력되도록 해야 합니다. OSWORLD 2.0과 같은 벤치마크(Benchmarks)는 AI 시스템이 컴퓨터에서 매우 복잡하고 다양한 작업을 수행하는 능력이 얼마나 좋아지고 있는지를 보여주는 대리 지표(proxy)로 간주되어야 합니다. 이러한 결과가 보여주듯, 컴퓨터는 이미 좁은 범위의 소프트웨어 도구를 사용하고 인간이 완료하는 데 몇 분이 걸리는 작업들에 대해서는 능숙해졌습니다. 이제 우리는 컴퓨터가 더 넓은 범위의 소프트웨어를 사용하고 인간이 완료하는 데 몇 시간이 걸리는 작업을 수행하는 데 얼마나 빨리 숙련될 수 있는지를 확인해야 합니다.

더 읽어보기: OSWorld 2.0: Benchmarking Computer-Use Agents on Long-Horizon Real-World Tasks (공식 논문 웹사이트)

연구 논문은 여기서 확인하세요: OSWorld 2.0: Benchmarking Computer-Use Agents on Long-Horizon Real-World Tasks (xlang-ai, OSWorld-V2, GitHub, pdf).

---

실제 세계의 AI는 어떤 모습인가: 중국의 아마존에서 재고 관리를 위해 딥러닝 (deep learning)이 구조화된 시스템과 융합되다:
…Oxygen AI Item Center는 국가 규모 이커머스 (e-commerce)의 복잡성을 보여줍니다…
_중국의 아마존인 JD는 방대한 재고 시스템을 관리하기 위해 구축한 소프트웨어에 대한 세부 정보를 공개했습니다. JD는 7,000만 명의 사용자와 수백만 명의 판매자를 보유하고 있으며, 수백억 개의 SKU (Stock Keeping Unit)를 포함하는 카탈로그를 운영하고 있습니다. 이 소프트웨어인 Oxygen AI Item Center (Oxygen AIIC)는 이 이커머스 거인이 재고를 추적하는 방식의 핵심입니다.
“Oxygen AIIC는 현재 수만 개의 JD 카테고리를 커버하며, Huawei Ascend NPU (Neural Processing Unit) 상에서 하루에 수억 건의 아이템 업데이트를 처리합니다.”라고 JD는 해당 소프트웨어에 관한 연구 논문에서 밝혔습니다.

Oxygen AIIC의 네 가지 핵심 요소. Oxygen를 특별하게 만드는 것에 대한 설명은 기술적인 관점에서도 유용하지만, 첨단 기술이 요구하는 기묘하고 천상적인 구조(예: “Unified item tunnel (통합 아이템 터널)”)를 묘사하는 일종의 네오-보르헤스적 (neo-Borgesian) 글쓰기 양식으로서 즐거움을 주기도 합니다.

1. 효율적인 인간-AI 협업에 의해 주도되는 온톨로지 엔지니어링 (Ontology engineering): "전문가는 산업 지식을 추출하는 데 집중하고, 알고리즘은 이를 학습하여 온톨로지 구축을 확장하고 지속적인 진화를 유도합니다."

2. "시맨틱 검색 후 판별 (Semantic Search then Discrimination)": "시맨틱 검색 (semantic search) 단계에서는 동적으로 진화하는 온톨로지가 별도의 온톨로지 지식 베이스 (ontology knowledge base)로 외재화되어, 모델 재학습 없이도 지속적인 온톨로지 업데이트가 가능합니다."라고 그들은 기술합니다. "판별 (discrimination) 단계에서 모델은 검색된 온톨로지 항목과 아이템이 일치하는지 여부만을 결정합니다. 이러한 정식화는 작업 복잡성을 실질적으로 줄이고, 모델 환각 (hallucination)을 완화하며, 온톨로지 진화에 대한 일반화 성능을 향상시킵니다."

3. 자기 진화형 아이템 이해 LLM/VLM: "점진적 학습 (incremental learning)과 모델 자기 진화 (model self-evolution)를 통해, 시스템은 타겟팅된 지식 격차를 채우고 치명적 망각 (catastrophic forgetting)을 완화합니다."라고 그들은 기술합니다. "핵심 방법은 견고한 멀티태스크 (multi-task) 기반을 구축하고, 점진적인 요구 사항을 위한 경량 "전문가 모듈 (expert modules)"을 개발하여 이를 전문가 풀 (expert pool)에 동적으로 통합함으로써 민첩한 능력 확장을 가능하게 하는 것입니다."

4. "통합 아이템 터널 (Unified item tunnel)": Oxygen AIIC와 기타 비즈니스 애플리케이션 간의 주요 인터페이스입니다. "데이터 일관성을 유지하면서 일 단위, 분 단위, 초 단위의 생산 및 배포 파이프라인을 지원합니다."

생각할 거리 (Things that make you go hmmm) – 중국의 전반적인 기술 주권 확보 노력의 일환으로, Oxygen AIIC에는 중국산 컴퓨팅 자원이 포함됩니다. "Oxygen AIIC의 대규모 배포 과정에서 기반 컴퓨팅 플랫폼은 두 가지 주요 기술적 과제에 직면합니다: Huawei Ascend NPU에서의 모델 학습 및 추론, 그리고 컴퓨팅 자원의 효율적인 사용입니다."