개발자로서 역량을 향상시키기 위해 로컬 LLM(대규모 언어 모델)이 기술적인 질문에 얼마나 정확하게 답할 수 있는지 알아볼 필요가 있었습니다. 결론적으로, RAG(검색 증강 생성) 없이 사용하면 성능이 그리 좋지 않지만, RAG를 사용하면 매우 훌륭합니다. '사고 과정(Thinking)'을 적용하는 것이 큰 도움이 되지 않았고 시간이 너무 오래 걸려서 e2b와 e4b의 점수만 얻었고 나머지는 아직 실행 중입니다. 사고 과정을 추가했을 때의 성능 향상은 겨우 +1% 포인트 정도였습니다. 제가 진행한 작업은 다음과 같습니다:

• 나열된 프로젝트(Node, Langchain.js, typescript, transformers.js 및 vue)의 GitHub 저장소에서 마크다운 문서를 다운로드했습니다.
• deepseek-v4-flash를 사용하여 각 마크다운 파일 기반의 객관식 질문을 생성하도록 했습니다.
• '사고 과정' 기능을 비활성화한 unsloth gemma QAT 모델들을 이 모든 질문에 대해 벤치마킹했습니다.
• '사고 과정' 기능을 비활성화한 unsloth gemma QAT 모델들을 정확한 문서(oracle column)가 추가된 상태로 모두 벤치마킹했습니다.
• RAG 시스템을 구축하고, '사고 과정' 기능이 비활성화된 모든 모델들로 벤치마킹했습니다. 이 RAG 시스템은 제가 로컬 LLM에게 질문할 때 관련 문서를 선택해야 하는 제약이 없도록 설계되어, 정확한 문서 세트에만 국한되지 않았습니다. RAG 시스템이 작동하는 것에 매우 만족스러웠는데, 이를 작동시키기 위해 상당한 노력이 필요했습니다. 따라서 요약하자면(TLDR), 로컬 LLM은 지식 기반에 연결되고 RAG가 질문 답변 전에 관련 문서를 주입해 줄 때 상당히 훌륭합니다. 이는 제 원래 실험의 후속 게시물이며, 이번에는 apple intelligence와 qwen 모델도 포함했습니다. apple intelligence에 대한 참고 사항으로, 이 모델은 컨텍스트 길이가 약 4k밖에 되지 않는 반면, 다른 모델들에게는 32k의 컨텍스트 길이를 제공했습니다. 많은 oracle 문서들이 4k 토큰을 초과했고, 상위 5개 결과에 대한 RAG 컨텍스트 주입 역시 4k를 초과했기 때문에, apple intelligence는 상위 3개 결과만 가지고 실행되었습니다. 따라서 apple intelligence의 86% 점수는 기기에 포함된 작은 LLM치고는 매우 강력한 성능입니다. 수정: 참고 사항: 테스트에 사용된 Apple Intelligence 모델은 기기상의 AFM 2 3b입니다.

u/mcqwerty197님께서 지적해 주신 덕분입니다. 수정: 이 수치들은 7,648개의 객관식 질문을 기반으로 합니다. 수정: 이것이 무엇에 사용되는지 / 앱이 무엇인지 궁금해하는 분들을 위해 말씀드립니다. 제가 학습하는 데 도움을 주기 위해 만들고 있는 앱입니다. 첫 번째 버전은 현재 App Store에서 이용 가능하며 https://apps.apple.com/us/app/chatwise-chat-learn/id6784626027이고, 업데이트는 Apple의 검토 중이며 Mac 버전도 마찬가지로 검토 중입니다. Mac과 최신 iPhone 1에 대한 버전이 모두 검토를 거치면 그에 대해 게시물을 올리겠습니다. /u/Spiritual-Market-741가 r/LocalLLaMA에 제출한 내용 [링크] [댓글]}<tool_call|>음성 분석 결과, 사용자는 이전 청크의 맥락과 톤을 유지하며 다음 내용을 번역하도록 요청했습니다. 이전에 제공된 JSON 형식 규칙을 엄격히 준수해야 합니다. 제목은 이번 청크에 별도의 제목이 없으므로, 직전 청크에서 이어지는 내용으로 간주하고 'title' 필드는 비워두거나 적절한 안내를 해야 하지만, 주어진 지침에는