Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Toss헤드라인
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
본 글은 LLM 서빙 환경에서 단순히 배포하는 것을 넘어, 시스템 안정성과 문제 원인을 깊이 파악하는 '잘 띄우는' 중요성을 강조합니다. 기존 ML 모델과 달리 LLM은 토큰 순차 생성 특성상 TTFT(첫 토큰 시간) 등 새로운 지표가 필요하며, vLLM/SGLang 같은 전문 서빙 프레임워크의 지표를 통합하여 모니터링 시스템을 고도화해야 합니다.
9월 20일1
Toss헤드라인
1%가 겪은 버그 고쳐야할까요?
본 글은 금융 서비스 플랫폼에서 발생하는 버그(핫픽스)를 어떻게 관리할지 다룹니다. 기존의 '심각도' 기준 대신, 핫픽스를 진행할지 말지를 판단하는 구조로 접근 방식을 바꿨습니다. 특히 점진 배포 환경에서 낮은 배포율로 발생한 문제의 심각도를 해석하고 신중하게 대응하는 방법을 제시합니다.
9월 19일1
Toss헤드라인
AI가 만든 코드가 어드민이 되기까지
토스(Toss)는 여러 팀이 빠르게 어드민을 만들고 수정하는 과정에서 발생하는 개발/보안/배포 반복 비용 문제를 해결하기 위해 사내 플랫폼 TOI를 구축했습니다. 이 플랫폼은 사용자가 API와 자연어 요청만으로 AI가 React 코드를 생성하며, 특히 AI가 만든 코드를 브라우저 내에서 실시간으로 실행하고 확인할 수 있는 'Preview Runtime' 환경을 구현하는 과정을 소개합니다.
9월 19일2
Toss헤드라인
AI가 팀 규칙을 지키도록 하는 방법
본 글은 Coding Agent가 코드 작성 시 팀의 규칙이나 전반적인 맥락을 놓치는 문제를 다룹니다. 단순히 Global Instruction으로 규칙을 전달하는 방식으로는 세션이 길어지면 모델이 초기에 받은 지침을 무시하는 'Lost in the Middle' 현상이 발생합니다. 이를 해결하기 위해 Agent Loop 안에 Feedback Loop를 추가하는 방법을 제시합니다.
9월 19일1
Toss헤드라인
App Router의 장점은 우리에게도 장점일까요?
토스뱅크 개발자가 Next.js App Router와 React Server Components(RSC)를 실제 서비스에 도입하려 검토한 과정을 공유합니다. 데이터 로딩 및 Suspense 기반의 선제적 렌더링 이점을 확인했으나, 세로 스크롤 구조에서 발생하는 레이아웃 이동 문제와 복잡한 관리 비용 때문에 최종적으로 도입하지 않기로 결정했습니다.
9월 19일1
Toss헤드라인
리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기
본 글은 LLM의 일반적인 리더보드 점수만으로는 실제 서비스에서의 성능을 보장할 수 없음을 지적하며, 토스(Toss)가 자체적으로 'Toss Benchmark'를 구축한 과정을 설명합니다. 이 벤치마크는 금융, 커머스, 광고 등 다양한 도메인 업무에 특화된 평가 기준을 마련하여 모델 선정 및 Toss Foundation 모델의 역량 강화 방향을 제시하는 것이 목적입니다.
9월 16일1
Toss헤드라인
토스증권이 GPU-aware를 넘어 GPU-native 클러스터를 구축한 방법
토스증권이 쿠버네티스를 기반으로 하는 멀티테넌트 GPU 클러스터를 구축한 경험을 공유합니다. 초기 'GPU-aware' 단계를 넘어, 개별 GPU 상태 점검 및 서비스 단위 자원 할당까지 가능한 'GPU-native' 운영 환경을 구현하는 과정과 기술적 해결책을 다룹니다.
9월 15일1
TossAI 번역헤드라인
Software 3.0 시대로의 진입
Andrej Karpathy가 정의한 Software 1.0, 2.0, 3.0의 진화 과정을 통해 자연어 기반 프로그래밍 패러다임을 설명합니다. LLM의 한계를 극복하고 실제 작업에 활용하기 위한 'harness(도구 및 인프라)'의 중요성을 강조합니다.
5월 25일1
Toss헤드라인
LLM을 이용한 서비스 취약점 분석 자동화 #2
LLM을 활용하여 서비스 취약점 분석을 자동화하는 과정에서 겪은 기술적 도전과 해결책을 다룹니다. 특히 대용량 소스코드의 효율적인 전달을 위해 ctags와 tree-sitter를 활용한 MCP(Model Context Protocol) 서버 구축 사례를 상세히 설명합니다.
5월 25일1
Toss헤드라인
Metric Review, 실행을 이끌다
토스플레이스 데이터 조직이 데이터 분석 결과를 실제 제품과 사업의 변화로 연결하기 위해 운영하는 'Metric Review' 방법론을 소개합니다. 데이터 리터러시를 높이고 OKR과 연계된 지표 체계를 통해 조직의 임팩트를 극대화하는 과정을 다룹니다.
5월 25일1
Toss헤드라인
경계 보안부터 제로트러스트 보안까지, 고도화 여정
토스페이먼츠가 IDC와 AWS 하이브리드 환경에서 경계 보안부터 제로트러스트까지 보안 체계를 고도화한 4년간의 여정을 다룹니다. 암호화 트래픽 가시성 확보와 다층 방어 전략을 통해 보안 위협에 대응하는 과정을 설명합니다.
5월 25일1
Toss헤드라인
Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기
토스 데이터 플랫폼 팀이 광고 Frequency Capping을 위해 기존 Airflow 배치 구조를 Apache Flink 기반 실시간 집계로 전환한 사례를 다룹니다. 1분부터 7일까지의 다양한 집계 구간을 단일 API로 제공하기 위해 Flink와 RocksDB를 최적화하여 확장한 과정을 설명합니다.
5월 25일1
Toss헤드라인
쓰기 쉬운 Toss Front SDK
토스플레이스의 결제 단말기 연동을 위한 Toss Front SDK 설계 철학을 소개합니다. 사용자의 의도(Intent)를 중심으로 복잡한 내부 로직을 은닉하고, Facade 패턴을 통해 휴먼 에러를 구조적으로 방지하는 SDK 인터페이스 설계 방법을 다룹니다.
5월 25일2
Toss헤드라인
StarRocks 운영기: Resource Group으로 멀티테넌트 워크로드 격리하기
토스 DOP 팀이 StarRocks를 도입하여 서비스 조회와 분석 쿼리를 통합 처리하며 겪은 운영 경험을 공유합니다. Resource Group을 활용해 다양한 워크로드 간의 CPU 우선순위를 설계하고 멀티테넌트 환경에서 리소스를 격리하는 방법을 다룹니다.
5월 25일1
TossAI 번역헤드라인
97% 더 작고 2배 더 빠르게: es-toolkit이 주간 다운로드 1,000만 회를 달성한 방법
Toss 프론트엔드 팀이 개발한 현대적인 JavaScript 유틸리티 라이브러리 es-toolkit을 소개합니다. lodash를 대체하기 위해 설계되었으며, ES Modules와 TypeScript를 기반으로 번들 크기를 97% 줄이고 성능을 2배 이상 향상시켰습니다.
5월 25일1
TossAI 번역헤드라인
양자 컴퓨터가 등장하기 10년 전, 우리가 양자 내성 암호(Post-Quantum Cryptography)를 도입한 이유
Toss Payments가 레거시 시스템 개편 과정에서 직면한 보안 프로토콜 업데이트의 어려움과 양자 내성 암호(PQC) 도입의 필요성을 다룹니다. 수만 명의 가맹점과 연동된 복잡한 생태계에서 보안 표준을 높이는 과정에서의 기술적, 운영적 도전 과제를 설명합니다.
5월 25일1
Toss헤드라인
양자컴퓨터 시대에 대비한 양자내성암호 적용, 왜 10년 먼저 서비스에 적용했을까?
토스페이먼츠가 결제 서비스의 보안 강화를 위해 양자내성암호(PQC)를 선제적으로 도입한 과정과 그 배경을 다룹니다. 수만 개의 가맹점과 연동된 레거시 환경에서 보안 프로토콜을 고도화하며 겪은 기술적 도전과 관성을 극복하는 과정을 설명합니다.
5월 25일1