Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
X요약
퇴역한 스마트폰이 데이터센터가 될 수 있다면?!
Google과 UCSD가 퇴역 스마트폰을 활용하여 'Phone Cluster Computing' 프로젝트를 진행합니다. 이 프로젝트는 추출된 메인보드를 클러스터로 묶어 범용 클라우드 컴퓨팅 플랫폼으로 재배치하는 것을 목표로 합니다. 테스트 결과, 소수의 스마트폰 클러스터만으로도 대규모 수업의 트래픽 처리 및 채점 레이턴시 측면에서 우수한 성능을 보였습니다.
6월 14일0
X요약
SubQ는 SSA를 중심으로 구축되었습니다.
SubQ는 12M 토큰의 긴 컨텍스트 처리를 목표로 하는 LLM 모델로, 단순히 컨텍스트 길이를 늘리는 것을 넘어 기존 트랜스포머 아키텍처의 핵심 병목인 어텐션 비용 자체를 줄이는 데 초점을 맞추고 있습니다. 이를 위해 SubQ는 'Subquadratic Sparse Attention (SSA)'라는 선형 확장형 어텐션 메커니즘을 중심으로 구축되었습니다.
5월 6일12
X요약
12M 토큰 컨텍스트 > SubQ가 바꾸려는 LLM 스케일링
SubQ가 제안한 새로운 아키텍처는 기존 트랜스포머의 가장 큰 문제점인 긴 컨텍스트 처리 비용과 속도 문제를 해결하는 데 초점을 맞추고 있습니다. 핵심은 'SSA(Selective Sparse Attention)'라는 접근 방식으로, 모든 토큰 간의 관계를 계산하던 방식 대신 내용 기반으로 필요한 위치만 선택적으로 어텐션을 수행합니다. 이 기술은 단순히 컨텍스트 길이를 늘리는 것을 넘어, 긴 문맥 속에서 흩어진 정보까지 정확하고 효율적으로 회수할 수 있게 함으로써 LLM 스케일링의 패러다임을 변화시키고자 합니다.
5월 6일11