오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.
수집한 글을 근거로 AI가 정리한 코멘트입니다. 전체 시장이 아닌 이 피드에서 관찰한 흐름을 보여줍니다.
최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
최근 피드는 LLM을 실제 서비스 워크플로우에 통합하는 실질적인 방법론과 인프라 보안 구축에 초점을 맞추고 있습니다. 특히, JSON 출력 불안정성 처리나 Nginx 뒤에 AI 기반 WAF를 배치하는 등, 모델의 출력을 신뢰하고 보호하는 아키텍처적 접근이 두드러집니다. 또한, 대규모 모델 배포 방식이나 에이전트 하네스 구축 강좌 등은 LLM을 단순한 API 호출을 넘어 시스템 핵심 컴포넌트로 활용하려는 개발자들의 노력을 보여줍니다.
글 3,890개 · 출처 사이트 124곳
근거 글
집계 기준
본 논문은 LLM 추론을 위한 효율적인 데이터 형식(MX 유사 텐서 코어)의 설계 공간 탐색 및 NPU 기반 공동 하드웨어-소프트웨어 설계를 제안합니다. 비대칭 정밀도와 결합된 새로운 스케일 형식을 정의하고, 이를 오픈 소스 SNAX NPU 플랫폼에 통합한 자동화된 분석 흐름을 개발했습니다. 그 결과, FP4 양자화가 중요하며 UE5M3가 높은 정확도-하드웨어 트레이드오프를 제공함을 입증했습니다.
본 논문은 대규모 신경망 가중치 및 임베딩 벡터 저장을 위해 아날로그 중첩(superposition) 메모리 아키텍처를 제안합니다. 이 방식은 단일 메모리 배열에 여러 벡터를 인코딩하여 저장 밀도를 높이고, 물리적 셀 증가 없이 효율적인 데이터 저장이 가능하게 합니다. 프로토타입 상변화 메모리 칩 구현 및 실험 결과는 높은 추론 정확도를 보여주었습니다.
본 논문은 LLM 추론 과정에서 발생하는 컴퓨팅 바운드(prefill)와 메모리 바운드(decoding) 간의 자원 불일치 문제를 해결하기 위한 하이브리드 아키텍처 DuoPD를 제안합니다. DuoPD는 HBM 로직 다이에 PNM 유닛을 통합하여 공유 인터페이스를 통해 전체 decoding 작업을 수행함으로써, 두 단계가 최소한의 간섭으로 동시에 실행되도록 합니다.
지구 관측 위성 데이터 과부하 문제를 해결하기 위해, 본 논문은 온보드에서 데이터를 압축하고 처리하는 범용 AI 처리 체인을 제시합니다. 이 체인은 모델 튜닝 및 int8 양자화를 거쳐 AMD Versal VCK190에 포팅되었으며, 모듈식 워크플로우와 unikernel 패키징을 통해 미션 레벨 오케스트레이션을 구현했습니다.
본 논문은 고급 IC 레이아웃 최적화 문제를 해결하기 위해 E-Layout이라는 ML 기반 프레임워크를 제안합니다. 이 프레임워크는 설계 수준 타이밍 피드백 하에 로직 변환과 물리적 구현을 공동으로 최적화하며, e-graph 등가성 포화와 그래프 기반 RAG, 강화학습(RL)을 결합했습니다. 테스트 결과, 기존 상용 흐름 대비 TNS 및 WNS 개선 효과를 입증했습니다.
본 논문은 동기식 하드웨어의 통신 안전성 문제를 해결하기 위해 Anvil 타입 확장인 Pact를 제안합니다. Pact는 메시지 전달, 제어 흐름, 클럭 사이클 동작을 기술하여 구성 요소 간의 상호작용에서 발생하는 통신 안전성 위반을 검증할 수 있습니다. 이 타입 시스템은 증분 설계와 추상화를 지원하며, 하드웨어 오버헤드를 최소화하면서 높은 정확도를 보장합니다.
본 기사는 무선 시스템의 실시간 통합 감지 및 통신(ISAC)을 위한 스트리밍 머신러닝 엔진 SIXPPAC를 소개합니다. 12 nm FinFET 기반의 이 엔진은 두 개의 SAR ADC와 디지털 이진 가중치 6층 신경망을 통합하여, 저전력으로 고속 데이터 처리를 가능하게 합니다.
본 연구는 저궤도(LEO) CubeSat 임무에서 발생할 수 있는 NVM 장치 오류 모델을 개발했습니다. 생성형 딥러닝 기법을 활용하여 메모리 스냅샷의 공간적 패턴을 학습하고, 이를 모방하는 추가적인 오류 패턴을 합성적으로 생성합니다. 이 모델은 일반적인 애플리케이션 레벨 실험에 필요한 현실적인 메모리 오류를 효과적으로 생성할 수 있음을 입증했습니다.
MemLLM은 온디바이스 RAG의 병목 현상을 해결하기 위해 제안된 아키텍처입니다. 이 시스템은 SSD 내에서 사전 계산된 KV 캐시를 기반으로 전체 어텐션 파이프라인을 실행하는 종단 간 인스토리지 처리(ISP) 방식을 사용합니다. 이를 통해 PCIe 전송을 최소화하고, 하드웨어 필터 로직과 결합하여 NAND 읽기 볼륨 및 쓰기 페널티를 줄였습니다.
CXL과 이더넷을 결합한 새로운 메모리 풀링 아키텍처인 CMM-MP를 소개합니다. 이는 목적 기반 메모리 장치로, 분산된 메모리 확장 솔루션을 제공하며 GPU/CPU 애플리케이션에 100s의 TB 용량을 지원합니다. 이 시스템은 낮은 지연 시간과 높은 처리량으로 기존 RDMA 기반 솔루션보다 우수함을 입증했습니다.
본 논문은 LLM 환각 현상을 소프트웨어 관점뿐만 아니라 하드웨어에서 발생한 소프트 에러와 연관 지어 연구했습니다. 이를 위해 추론 과정에 소프트 에러를 주입하는 LLMEI라는 방법을 소개하고, 다양한 작업에서의 영향을 평가했습니다. 연구 결과는 하드웨어 기반 LLM 구현의 신뢰성 확보를 위해 환각 특이적 진단 시스템이 필요함을 강조합니다.
본 기사는 차량용 속도 제한 표지판 인식을 위한 하드웨어 효율적인 시스템을 제안합니다. YOLO 계열 네트워크를 채널 재생식(channel replay)으로 압축하여 파라미터를 대폭 줄이고, 리더는 정수 산술만을 사용하여 온칩 메모리에서 높은 정확도를 구현했습니다. 이 결합 시스템은 낮은 파라미터 수와 고속 추론이 가능합니다.
본 논문은 블록 부동 소수점(BFP) 기반 비트 공유 프레임워크인 BS-Spec을 제안하며, LLM 추론의 처리량 개선을 목표로 합니다. BS-Spec은 초안 구성, 워크로드 인식 정밀도 선택, 하드웨어 실행을 통합적으로 최적화합니다. 이를 통해 별도의 초안 모델 스토리지를 제거하고, 다양한 서비스 환경에 적응하는 고효율 자체 추측 디코딩 방식을 제시했습니다.
본 연구는 혼합 정밀도 DNN 모델을 다양한 공간 가속기에 최적화하는 qGAMMA라는 유연한 프레임워크를 제안합니다. 이 프레임워크는 도메인 특화 유전 알고리즘과 하드웨어 분석 성능 모델을 결합하여 설계 공간을 탐색하고, 목표 지표를 최소화하는 최적 매핑 및 가속기 구성을 식별합니다.
본 논문은 메모리 벽 문제를 해결하는 PIM 시스템 GUMPIM을 제안합니다. GUMPIM은 인터리빙된 CPU 페이지와 비인터리빙된 PIM 페이지가 공존할 수 있도록 유니타리하고 가변적인 메모리 공간을 제공합니다. 이를 통해 CPU 대역폭 손실 없이 낮은 오버헤드로 PIM 작업을 효율적으로 처리하며, 기존 DRAM 표준과의 완벽한 호환성을 보장합니다.
본 논문은 양자 신경망(QNNs)을 희소 하드웨어에 효율적으로 배포하기 위한 후 학습 가지치기 프레임워크인 ConQUESTA를 제안합니다. ConQUESTA는 작업 중요도와 컴파일러 비용을 결합하여 엔탱글러 후보를 선별하고, 정확도 제약 조건 하에 완전한 가지치기 마스크를 검색합니다. 테스트 결과, 다양한 데이터셋에서 높은 자원 감소율과 향상된 복구 가능성을 입증했습니다.
본 논문은 High Bandwidth Flash (HBF)의 잠재력을 탐구하기 위해 LLM 메모리 계층 구조 시뮬레이터인 HBFSim을 제안합니다. HBFSim은 HBM, HBF 등 이종 메모리를 통합 모델링하며, Llama-3.1-70B와 Qwen3-235B 등의 디코딩 워크로드를 분석했습니다. 이를 통해 HBF가 기존 DRAM 대비 높은 대역폭을 제공하고, 특정 조건에서 긴 수명을 가질 수 있음을 입증합니다.
본 논문은 CU-local 3D DRAM 아키텍처에서 피연산자 타일 데이터가 메모리 주소 공간에 배열되는 방식을 제어하는 컴파일러 가시적 추상화, TileDRAM을 제시합니다. TileDRAM은 GPU의 선형 레이아웃 개념을 DRAM 배치 좌표로 확장하여, 반복적인 타일 접근 패턴에 최적화된 레이아웃을 선택하고 이를 통해 로우-버퍼 충돌률을 크게 줄이고 성능을 향상시킵니다.
본 논문은 LLM 학습, 서빙, HPC 워크로드 등 다양한 AI/HPC 환경에 최적화된 이종 시스템 설계를 위한 Agentic AI 프레임워크인 ArchAgent를 제안합니다. ArchAgent는 계층적 다중 에이전트 구조로, 복잡한 시스템 설계 문제를 칩, 스케일업, 스케일아웃 하위 문제로 분해하여 전문 에이전트들이 처리하게 합니다.
본 논문은 NVIDIA Grace Hopper (GH200)와 같은 이종 컴퓨팅 아키텍처가 도입한 하드웨어 지원 페이지 마이그레이션 기능을 분석했습니다. 연구진은 이를 표적으로 하는 새로운 측간 및 은닉 채널 공격을 식별하고, Multi-Instance GPU (MIG) 파티션 전반에 걸쳐 격리 취약점을 입증했습니다.