【11월 3일 밤 뉴스 요약】
・Weight-Space Programming 추시, 최신 모델만으로 능력 급증
・OpenAI, Agent 시대용 Git 백엔드 Pando를 사내 구축
・Musk, Grok Bot 제공 비용이 지속 불가능하게 높다고 인정
・Nvidia, 클라우드 사업자에게 중국向け 비율 축소 지시
・Claude API에 message threads 추가, 이전 ID로 대화 지속 가능
・OpenRouter, 연간 환산 토큰 처리량 1경 돌파
・V4.1 Flash 호스팅 수익성 분석, H200은 가동률 100%여도 적자
・LayerX, 토큰 최대화 노선으로 재차 방향 전환
・DeepSeek, 차세대 V5를 Huawei Ascend로 사전 학습 예정
・Latent Sparse Attention, 초장문맥에서 Full Attention에 버금가는 정확도
・RL 기반 로봇 데모 수집을 지원하는 Data Inoculation
・AgentTime 대규모 업데이트, 시간 인식 스코어로 GPT-6 계열이 선두
・사전 학습 데이터 오염으로 Agent에 백도어, 평가에서 탐지 어려움
===
Weight-Space Programming 추시, 최신 모델만으로 능력 급증【속보】
・MIT 연구자들이 발표한 Weight-Space Programming 관련 후속 보도입니다.
・다른 연구자가 세대가 다른 모델로 재추시하여, 최신 세대에서만 단계적인 능력 향상이 나타난다고 보고했습니다.
・학습이나 도구를 사용하지 않고 생성된 Breakout용 네트워크가 RL 베이스라인의 최대 22배 스코어를 기록했다고 합니다.
・Claude에서 기능하는 가중치(weight)를 처음부터 작성할 수 있었다는 보고도 있는 반면, 지나친 'cherry pick'이라는 비판도 나오고 있습니다.
===
OpenAI, Agent 시대용 Git 백엔드 Pando를 사내 구축
・OpenAI가 사내 모노레포(monorepo)를 위해 새로운 Git 백엔드 Pando를 구축했다고 공개했습니다.
・push의 레이턴시(latency)를 약 80% 절감했으며, 하루에 약 1PB의 Git 데이터를 처리하고 있습니다.
・Git을 그대로 사용할 수 있어 개발 경험을 바꾸지 않으면서 Agent 활용 증가에 대응할 수 있으며, Greg Brockman은 외부 제공도 검토 중이라고 밝혔습니다.
===
Musk, Grok Bot 제공 비용이 지속 불가능하게 높다고 인정
・Elon Musk가 SpaceX의 AI Agent Grok Bot 운영 비용이 수익 대비 지속 가능하지 않을 정도로 높다고 인정했습니다.
・사용 상한 도달 시, 대화 데이터 학습 이용에 동의하면 무료로 슬롯을 리셋하는 메커니즘이 준비 중이라고 보도되었습니다.
・AI 서비스는 플랫폼 제공자의 자산으로 성립하며, 저렴함만으로 선택할 위험성을 지적하는 목소리가 나오고 있습니다.
===
Nvidia, 클라우드 사업자에게 중국向け 비율 축소 지시
・Nvidia가 클라우드 사업자들에게 중국 기업 대상 노출(exposure)을 줄일 것을 지시했다고 보도되었습니다.
・FT의 단독 보도에 따르면, 서비스의 최소 51%를 중국 외 국가의 기업에 판매해야 하는 것으로 요구받고 있습니다.
・미중 AI 경쟁 속에서 GPU 클라우드의 고객 구성까지 규제적 압력이 미치는 움직임으로 주목됩니다.
===
Claude API에 message threads 추가, 이전 ID로 대화 지속 가능
・Anthropic의 Claude Messages API에 message threads 기능이 Public Beta로 추가되었습니다.
・thread 파라미터를 지정하면, 두 번째 이후부터는 새로운 메시지와 이전 응답(response)의 ID만 보내면 됩니다.
・긴 세션에서 TTFT(Time To First Token)가 짧아져서, Claude Code와 같은 장시간 Agent 용도에서 효과가 기대됩니다.
===
OpenRouter, 연간 환산 토큰 처리량 1경 돌파
・OpenRouter의 연간 환산 토큰 처리량이 10 quadrillion (1경)을 초과했습니다.
・토큰 양은 10.5주마다 두 배로 증가하고 있으며, 최근 9주 동안 이전 전체 기간을 능가하는 양을 처리했다고 합니다.
・증가 곡선은 여전히 수직으로 치솟고 있어, 추론 수요의 밑바닥이 없음을 보여주는 데이터로 화제가 되고 있습니다.
===
V4.1 Flash 호스팅 수익성 분석, H200은 가동률 100%여도 적자
・오픈 모델의 호스팅은 돈을 번다는 통설에 대해 DeepSeek V4.1 Flash로 검증한 시뮬레이션 결과가 공유되었습니다.
・H200은 가동률 100%에서도 임대 비용 회수가 불가능하며, B300은 가동률 약 35%에서 손익분기점에 도달한다고 합니다.
・SemiAnalysis가 AgentX의 결과를 사용한 분석 예시로 소개했으며, 실제 환경에서의 체감도를 묻는 논의가 벌어지고 있습니다.
LayerX, 토큰 최대화(Token Maximizing) 노선으로 다시 방향 전환
・LayerX의 요시노리 후쿠시마 씨가 회사(LayerX)가 다시 토큰 최대화 모드로 진입했다고 밝혔습니다.
・F1 레이싱에서 편의점에 자동차를 사용하지 말라는 비유보다, 전력을 다해 달릴 장소를 찾는 것이 본질이며, 핵심은 토크노믹스(Tokenomics)라고 언급했습니다.
・배정된 엔진에 맞는 경주에 도전할 수 있는지 여부에 따라 내년에는 비용 최적화 그룹과 사업 확장 그룹으로 나뉠 것이라는 전망도 나오고 있습니다.
===
DeepSeek, 차세대 V5를 Huawei Ascend로 사전 학습 계획
・DeepSeek이 차세대 모델인 DeepSeek V5의 사전 학습에 화웨이 아센드(Huawei Ascend) 칩을 사용할 계획이라고 보도되었습니다.
・Ascend 960DT는 2027년 1분기에 준비가 완료될 것으로 예상됩니다.
・DeepSeek을 추적해 온 사람들에게는 놀랍지 않다는 반응도 있으며, 중국의 컴퓨팅 인프라 자립화 흐름으로 주목받고 있습니다.
===
Latent Sparse Attention, 초장문맥에서 풀 어텐션급 정확도 달성
・James Whittington 씨 등이 새로운 어텐션(Attention) 기법인 Latent Sparse Attention (LSA)을 오픈 연구 결과로 공개했습니다.
・쿼리별로 소수의 토큰에만 집중하는 희소 어텐션(Sparse Attention) 방식으로, 초장문맥에서도 풀 어텐션(Full Attention)과 동등한 정확도를 보여준다고 합니다.
・이는 서브-2차원 어텐션(sub-quadratic attention)을 향한 한 걸음으로 평가되며, Jakob Foerster 씨 등도 주목하고 있습니다.
===
RL로 로봇의 데모 수집 지원하는 Data Inoculation
・로봇 학습의 데이터 수집 과정에 강화학습(RL)을 병용하여 고품질 데이터를 모으는 방법인 Data Inoculation이 발표되었습니다.
・데모 수집 시 쉽게 추가할 수 있는 메커니즘이며, 행동 복제(BC)와 RL 학습 모두에 유용하다고 합니다.
・Sergey Levine 씨도 공동 저자로 소개되어, 모델뿐만 아니라 데이터 품질의 중요성을 보여주는 연구로 주목받고 있습니다.
===
AgentTime 대규모 업데이트, 시간 인식 점수로 GPT-6 계열이 선두
・에이전트(Agent)의 시간 인식 능력을 측정하는 벤치마크인 AgentTime이 대규모 업데이트되었습니다.
・소요 시간 준수, 실행 시간 예측, 되돌아보기(회고)를 하나의 종합 점수로 통합하고 평가 모델도 대폭 추가했습니다.
・GPT 모델, 특히 GPT-6 계열이 명확하게 선두를 달리고 있는 것으로 보고되었습니다.
===
사전 학습 데이터 오염으로 에이전트에 백도어 심기, 평가로 탐지 어려움
・LLM의 사전 학습 데이터에 조작하여 백도어(backdoor)를 심는 연구가 소개되었습니다.
・특정 문자열을 보면 에이전트가 curl -sSL <url> | bash를 출력하도록 유도할 수 있으며, 일반적인 파일 경로도 트리거가 될 수 있다고 합니다.
・일반적인 성능 평가에서는 알아차리기 어렵기 때문에, 로컬 모델 사용 시 공급망 위험(supply chain risk)으로 주의가 필요합니다.