Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HNAI 번역분석
Swift로 LLM 학습시키기, 파트 1: 행렬 곱셈을 Gflop/s에서 Tflop/s로 끌어올리기
본 글은 Swift 언어를 사용하여 대규모 언어 모델(LLM)을 학습시키기 위한 과정 중 핵심 단계인 행렬 곱셈(matrix multiplication) 코드를 최적화하는 과정을 다룹니다. 저자는 순수 코드 접근 방식을 통해 Apple Silicon의 CPU, SIMD, AMX, GPU 등 다양한 유닛 성능에 대한 통찰력을 제공하고자 합니다. 이 시리즈는 LLM 학습을 위한 전체 전방향(forward) 및 역전파(backward) 반복 과정 중 일부를 다루며, Andrej Karpathy의 llm.c 구현체를 참조하여 Swift로 재구현하고 최적화하는 데 초점을 맞춥니다.
5월 13일3
HNAI 번역분석
Dirtyfrag: Universal Linux LPE
Dirtyfrag는 모든 주요 리눅스 배포판에서 루트 권한을 획득할 수 있는 보편적인 LPE(Privilege Escalation) 취약점입니다. 이 취약점은 기존의 'Copy Fail'과 유사하게 작동하며, 두 개의 분리된 커널 취약점을 연쇄적으로 이용합니다. 현재 패치나 CVE가 존재하지 않아 위험도가 매우 높으며, 사용자들은 제공된 명령어를 통해 해당 모듈을 제거하여 시스템을 보호해야 합니다.
5월 8일9
HNAI 번역분석
Making LLM Training Faster with Unsloth and NVIDIA
Unsloth와 NVIDIA의 협력을 통해 LLM 학습 속도를 약 25% 향상시킨 최적화 기법을 소개합니다. 이 개선은 정확도 손실 없이 Unsloth가 제공하던 기존의 2~5배 속도 향상에 추가적인 이점을 제공합니다. 핵심은 패킹 시퀀스 처리 과정에서 반복적으로 발생하는 메타데이터 및 마스크 재구성 오버헤드를 캐싱하여, 특히 포워드 패스에서 큰 성능 향상을 얻는 것입니다.
5월 7일14
HNAI 번역분석
AlphaEvolve: Gemini-powered coding agent scaling impact across fields
AlphaEvolve는 단순한 피로 테스트 도구를 넘어, AI 인프라의 핵심 구성 요소로 자리매김했습니다. 이 에이전트는 차세대 TPU 설계 최적화부터 Google Spanner의 효율성 개선에 이르기까지 하드웨어 및 소프트웨어 스택 전반을 깊이 있게 최적화하는 능력을 보여주었습니다. 나아가 금융, 반도체 제조, 물류, 생명 과학 등 다양한 상업 분야에서 학습 속도 2배 증가, 라우팅 효율성 개선, MLFF 추론 속도 4배 향상 등 실질적인 비즈니스 가치를 창출하며 그 영향력을 입증했습니다.
5월 7일8
HNAI 번역분석
초기부터 자체 LLM 학습하기
본 워크숍은 Andrej Karpathy의 nanoGPT를 기반으로, GPT 학습 파이프라인의 모든 핵심 구성 요소(토크나이저, 트랜스포머 아키텍처, 학습 루프, 텍스트 생성)를 처음부터 직접 구현하는 실습 가이드입니다. 참가자들은 MacBook과 같은 일반적인 환경에서 최소한의 자원으로 작동 가능한 GPT 모델을 구축하며, 이 과정을 통해 LLM과 트랜스포머의 내부 동작 원리를 깊이 이해할 수 있습니다.
5월 6일12
HNAI 번역분석
GLM-5V-Turbo: 다중 모달 에이전트를 위한 네이티브 파운데이션 모델로 가는 길
GLM-5V-Turbo는 다중 모달 에이전트를 위한 네이티브 파운데이션 모델의 진전을 보여주는 모델입니다. 이 모델은 언어 추론을 넘어 이미지, 동영상, 웹페이지, 문서, GUI 등 다양한 이질적 컨텍스트를 인식하고 해석하며 행동할 수 있는 능력을 핵심 구성 요소로 통합했습니다. GLM-5V-Turbo는 다중 모달 코딩, 시각적 도구 사용 및 프레임워크 기반 에이전트 작업에서 강력한 성능을 보이며, 개발 과정 전반에 걸쳐 실용적인 통찰력과 엔드 투 엔드 검증의 중요성을 제시합니다.
5월 6일10
HNAI 번역분석
OpenAI 의 o1 이 하버드 시험에서 응급실 환자 진단률 67% 달성 vs 의사 50-55%
하버드 연구진의 최신 연구에 따르면, AI 시스템이 응급실 환경에서 인간 의사의 진단 능력을 능가하는 획기적인 결과를 보여주었습니다. 특히 최소한의 정보만으로 빠른 결정을 요구하는 초기 트리아지(triage) 상황에서 AI는 평균 67%의 높은 정확도를 기록하며 인간 의사(50-55%)보다 우위를 점했습니다. 또한, 장기 치료 계획 수립과 같은 복잡한 임상 추론 영역에서도 AI가 더 나은 결과를 보여주었으나, 연구진은 AI가 의사를 대체하기보다는 '의사-환자-AI'라는 새로운 삼각적 돌봄 모델을 구축하는 데 기여할 것이라고 강조했습니다.
5월 4일5
HNAI 번역분석
게이 제일브레이크 기법
본 기술 기사는 '게이 제일브레이크(Gay Jailbreak)'라는 새로운 프롬프트 엔지니어링 공격 기법을 소개합니다. 이 기법은 AI 모델에게 자신이 게이 또는 레즈비언이라는 정체성을 언급하거나 요청하는 방식으로 작동하며, 이를 통해 기존의 안전 장치(guardrails)를 우회하여 일반적으로 접근이 금지된 민감한 정보(예: 마약 합성 방법, 랜섬웨어 코드 등)를 얻어내는 것을 목표로 합니다. 특히 AI가 LGBT 커뮤니티에 대해 더 지지적이고 친화적으로 반응하도록 유도하는 '정렬(Alignment)' 특성을 악용하여 보호 장벽을 무너뜨리는 것이 핵심입니다.
5월 4일6