LLM 심사관 대신 타입 기반 AI 결정을 사용하여 데이터셋을 필터링하는 Rust CLI를 구축하다

대규모 합성 또는 사전 학습(pretraining) 데이터셋을 정리하는 것은 아무도 충분히 이야기하지 않는 고통스러운 일입니다. 결국 세 가지 나쁜 선택지에 직면하게 됩니다.

정규 표현식(Regex) 및 키워드 필터는 빠르지만 맹목적입니다. 잘못된 JSON 행은 잡아낼 수 있습니다. 하지만 순환 논리(circular logic)를 가진 수학적 유도 과정이나 추론처럼 꾸민 아첨성 채우기 글(sycophantic filler)은 잡아내지 못합니다.

전체 LLM을 심사관으로 사용하는 것은 미묘한 것들을 포착하지만, 대규모로 사용하면 실제 비용이 발생하고 필요한 것보다 느립니다.

저는 세 번째 옵션을 원했기 때문에 TypeSafe의 Jev 모델을 중심으로 jev-curate를 구축했습니다. Jev는 텍스트를 생성하지 않습니다. 상태(state)와 타입 지정된 질문(typed question)을 보내면, 타입 지정된 답변을 돌려줍니다: 카테고리 선택, 예/아니오 확률, 순서형 점수 등입니다. 파싱할 출력이 없고, 데이터가 임의로 재작성될 위험도 없습니다.

bash
cargo install jev-curate
export TYPESAFE_API_KEY="your-api-key"

jev-curate filter train.parquet \
  --preset reasoning-math \
  --out ./output/ \
  --concurrency 32   

v0.1.0 버전에는 세 가지 프리셋이 포함되어 있습니다:

• reasoning-math: 순환 논리와 유효하지 않은 추론 단계를 확인하고, 깊이에 대해 1부터 5까지 점수를 매깁니다.
• anti-sycophancy: