본문으로 건너뛰기
arXiv논문2026. 10. 06. 16:13
Cut Binary Cross Entropy: 대규모 어휘를 위한 효율적인 손실 및 기울기 커널을 갖춘 순차 추천 대표 이미지

Cut Binary Cross Entropy: 대규모 어휘를 위한 효율적인 손실 및 기울기 커널을 갖춘 순차 추천

원문 발행 2026. 10. 05. 06:47원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

본 논문은 방대한 아이템 카탈로그를 사용하는 순차 추천 시스템의 메모리 문제를 해결하기 위해 CutBCE라는 새로운 BCE 손실 및 기울기 연산자를 제안합니다. 기존 표준 BCE는 대규모 로짓 텐서로 인해 OOM 오류를 유발하며, CutBCE는 온칩 계산과 효율적인 분산 처리를 통해 이를 극복하고 학습 속도를 크게 향상시킵니다.

핵심 포인트

  • CutBCE는 대규모 어휘 워크로드의 메모리 문제를 해결합니다.
  • 온칩(on-chip) 로짓 타일 계산을 위한 전용 Pallas TPU 커널을 사용합니다.
  • HBM 피크를 65.7% 감소시키고 학습 속도를 225.9% 증가시킵니다.
  • JAX와 Pallas에 구현되어 오픈 소스로 공개되었습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
1

댓글

0