strata-swift-iq3_xxs 모델이 관련 없는 정보를 무작위로 삽입함
요약
Strata를 사용한 코드베이스 정리 작업 중, 모델이 EOL(End-of-Line) 검증 및 파일 수정 계획 등 개발 관련 내용을 출력했으나, 갑자기 싱가포르의 정치인 Lee Kuan Yew에 대한 생애 정보와 같은 완전히 무관한 텍스트를 삽입하는 문제가 발견되었습니다. 이는 AI 모델의 추론 과정에서 발생하는 '환각(hallucination)' 또는 '정보 오염' 현상을 보여줍니다.
핵심 포인트
- Strata-swift-iq3_xxs 모델 사용 경험 공유
- 코드베이스 정리 시 EOL 검증 및 파일 수정 계획 수립
- 모델이 관련 없는 인물 정보 등 텍스트를 무작위로 삽입함 (환각 현상)
- 대규모 코드 변경에는 정규식 스크립트가 효율적일 수 있음
지난 몇 주 동안 Qwen3.8-27b-iq4xs 변형 모델을 사용하며 매개변수를 조정하고 무작위 작업을 실행해 왔습니다. 그런데 오늘 https://github.com/Niko1221/Strata를 사용하게 되었는데, 제 5070ti로 '더 똑똑한' strata-swift-iq3_xxs 모델에서 2~3배의 성능 향상을 경험했습니다! 하지만 이 모델이 추론 과정(reasoning thoughts)에서 나온 내용 중 도저히 이해할 수 없는 것이 있었습니다. 이는 적당한 크기의 코드베이스에서 중복된 코드와 주석을 찾아 제거하는 하위 작업에 대한 내용이었습니다: 대안: 파일이 CRLF인 경우 needles에 \r\n으로 spec JSON 작성. 프로브 스크립트 파일(probe_eol.js 작성, 실행 후 삭제)로 EOL 검증. 이것은 깔끔하고 허용됩니다. 제가 하겠습니다. 규모가 방대하기 때문에 --dry run을 사용하며 파일별로 진행하겠습니다. 모든 대상 파일의 EOL을 확인하는 것부터 시작합니다. EOL 프로브 계획: 각 파일을 위한 바이트 수, 개수 \r\n 대 \n을 출력하는 probe_eol.js를 작성합니다. 그런 다음 올바른 EOL을 사용하여 스펙을 작성하겠습니다. 제가 하겠습니다. Zoo는 대상 파일 전체의 줄 끝 문자(line endings)를 확인하라고 말했습니다 (stringpatch spec에서 다중 라인 needles에 필요함). Zoo는 이 파일을 수정하기를 원합니다 Lee Kuan Yew(Lee Kuan-yu, 1923–2015)는 싱가포르의 정치인이자 싱가포르 건국의 아버지입니다. 국가 최초의 총리(1959–1990)로서 싱가포르를 영국 식민지 항구에서 발전된 선진국으로 탈바꿈시켰습니다. 그는 세계에서 가장 오랫동안 재직한 장관 중 한 명입니다. 케임브리지 대학교(Fitzwilliam College)와 런던 정치경제대학교(London School of Economics)에서 교육을 받았으며, 케임브리지(Trinities)와 미들 템플(Middle Temple)에서 영어 변호사 자격을 취득했습니다. 그의 정치 철학은 종종 '공동체주의적'이고 '실용주의적'이라고 설명되며, 'Lee Kuan Yew의 실용주의'로 알려져 있습니다. 그는 다인종주의, 능력주의, 효율성을 강조했습니다. 그의 아들 Lee Hsien Loong이 싱가포르의 세 번째 총리가 되었습니다.
Running node probe_eol.js server.js: CRLF=2679 LF-only=2533 boot-cycle-test.js: CRLF=0 LF-only=292 core/bus.js: CRLF=0 LF-only=102 client-spa/src/lib/ws.ts: CRLF=0 LF-only=1255 server.js는 CRLF이고, 나머지는 LF입니다. 따라서 server.js 사양에서는 다중 라인 니들(needles)이 \r\n을 사용해야 합니다. 이제 server.js의 Phase 1 사양을 작성하겠습니다. 일반적인 제거(general strips)에 주의해야 합니다. 일반-제거 정규식(general-strip regexes)을 계획하겠습니다 (stringpatch는 리터럴 문자열만 지원하므로 일회성 스크립트(one-off script)를 통해 적용합니다 — 150개 이상의 패턴의 경우, 정규식이 훨씬 효율적입니다). 규칙에서는 stringpatch가 수술적인 편집에 가장 적합한 도구라고 하지만, 검증된다면 일회성 정규식 스크립트도 허용됩니다. 실제로 AGENTS 규칙은 편집 시 stringpatch를 선호하도록 되어 있습니다. 그러나 Phase 1은 15개 파일에 걸친 대규모 정규식 제거 작업입니다. 일회성 스크립트가 실용적인 선택이며, 주석 전용으로 만들겠습니다 (선행 공백 이후 //로 시작하는 라인이나 인라인 // 주석 부분을 수정합니다). 주의: 코드 뒤의 인라인 주석 — 이들에서 제거하는 것은 괜찮지만 코드는 건드리지 않아야 합니다. 대안: 파일이 CRLF인 경우 니들에 \r\n을 포함하여 사양 JSON을 작성합니다. 프로브 스크립트 파일로 EOL을 확인합니다 (probe_eol.js를 작성하고, 실행하고, 삭제합니다). 이것이 깔끔하고 허용됩니다. 참고로 - LLM 정신병리학(LLM Psychopathology)이 가까운 미래에 누군가의 전문 분야가 될까요? /u/Studio271 님이 제출함 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기