LFM2.5-Encoder는 LFM2 아키텍처를 기반으로 구축된 다국어 양방향 인코더 (bidirectional encoder) 제품군으로, 두 가지 크기로 제공됩니다: LFM2.5-Encoder-230M — 낮은 지연 시간 (latency) 및 메모리 예산에 적합하며 체급 이상의 성능을 내는 경량 인코더. LFM2.5-Encoder-350M — 최대의 다운스트림 품질을 위한 더 큰 형제 모델. 두 모델 모두 완전한 양방향 어텐션 (bidirectional attention)을 가진 마스크 언어 모델 (masked language models)로, 15개 언어에 걸쳐 특정 작업 모델(분류 (classification), 토큰 분류 (token classification), 검색 (retrieval), 재순위화 (reranking), 의미적 유사성 (semantic similarity))로 미세 조정 (fine-tuning)되어 온디바이스 (on-device)에서 효율적으로 실행되도록 설계되었습니다. 주요 특징: 크기 대비 매우 뛰어난 성능. 유사한 크기의 최고 수준 인코더들과 대등하며, 당사의 검색 (retrieval) 형제 모델들보다 훨씬 앞서 있습니다. 범용성. 8k 컨텍스트 (context), NLI, 패러프레이즈 (paraphrase), 감성 분석 (sentiment) 및 다국어 작업 전반에서 강력한 성능을 발휘합니다. 빠르고 온디바이스에 최적화됨. ModernBERT의 처리량 (throughput)과 일치하거나 이를 능가하며, CPU에서 긴 컨텍스트 처리에 강점이 있습니다. WebGPU를 통해 브라우저에서 실행 가능합니다.

📄 모델 상세 정보

지원 언어: 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 네덜란드어, 폴란드어, 포르투갈어, 아랍어, 힌디어, 일본어, 러시아어, 터키어, 베트남어, 중국어 (15개).

훈련 (Training). LFM2.5-Encoder-350M은 LFM2 베이스에서 파생되었으며, 대규모 다국어 코퍼스 (corpus)에서 마스크 언어 모델링 (masked language modeling) 목표로 훈련되었습니다. 사전 훈련 (Pre-training)은 컨텍스트 윈도우 (context window)를 최대 8,192 토큰까지 확장하는 2단계 스케줄을 사용합니다.

다음과 같은 다양한 다운스트림 작업 (downstream tasks)을 위해 LFM2.5-Encoder-350M을 미세 조정 (fine-tuning)할 것을 권장합니다:

텍스트 분류 (Text classification): 감성 (sentiment), 주제 (topic), 의도/라우팅 (intent/routing), 중재 (moderation), 비즈니스 텍스트 린팅 (business-text linting).
토큰 분류 (Token classification): 개체명 인식 (named-entity recognition), 구간 추출 (span extraction), 시퀀스 레이블링 (sequence labeling).

검색 및 재순위화 (Retrieval and reranking): 밀집 임베딩 (dense embedding) 또는 후기 상호작용 (late-interaction, ColBERT-style) 검색기의 백본 (backbone). 의미적 유사성 (Semantic similarity): STS, 패러프레이즈 (paraphrase), 중복 탐지 (duplicate detection). 자연어 추론 (Natural language inference) 및 추출형 질의응답 (extractive QA): 문장 쌍 추론 (sentence-pair reasoning) 및 정답 구간 추출 (answer-span extraction). /u/pmttyji에 의해 제출됨 [link] [comments]