여러분께 정말 '로컬이 더 좋다'고 할 수 있는 사용 사례를 보여드리고 싶었습니다. 요약하자면, Qwen 3.8 FN은 프론티어급 클라우드 모델과 동일한 수준의 기술력을 가지면서도 로컬 모델의 사생활 보호가 필요한 업무 문제를 해결해 주었습니다.
저는 직장에서 MSc 논문 모듈을 담당하고 있는데, 여기에는 학생들, 지도교수들, 제공되는 프로젝트 목록, 학생들이 선택하는 프로젝트, 심사위원, 그리고 최종 성적까지 추적하는 과정이 포함됩니다. 이 과정 자체가 아주 복잡한 것은 아니지만, 모든 것이 골치 아픕니다. 예를 들어, 학생들은 주어진 목록에서 상위 5개 프로젝트를 선택하지만, 지도교수들도 학생을 선택합니다. 게다가 지도교수는 자신의 학생의 과제는 채점할 수 없고 다른 사람의 과제만 채점할 수 있는 등의 제약이 있습니다. 이런 종류의 낮은 수준의 매칭 작업은 수동으로 처리하면 머리가 터질 지경입니다.
가장 당연한 해결책은 관계형 데이터베이스(relational database)이지만, 생성형 AI(gen AI) 이전에는 아무도 연간 단 한 번 발생하는 프로세스를 위해 데이터베이스를 코딩할 시간이 없었습니다. 또한 '데이터 수집(ingest)' 문제도 있습니다. 데이터는 ms forms, 학생 기록 데이터베이스, 그리고 moodle에서 오는데, 모두 다른 형식의 csv 내보내기 파일이며, 예를 들어 중간 이름의 배열이나 철자까지 다릅니다.
저는 Codex를 많이 사용하지만, 학생들과 지도교수들의 이름과 이메일, 초기 단계 연구 프로젝트에 대한 세부 정보를 클라우드에 제공할 수는 없습니다. 올해는 처음으로 로컬 모델을 사용하여 이 문제를 해결할 자신감을 얻게 되었고, 그 모델이 바로 Qwen 3.8 flash next입니다. 이는 opencode에서 vllm 백엔드를 구동하여 사용합니다. 도커 컨테이너(docker container)에 격리되어 있으며, 모든 입력 데이터에는 읽기 전용 접근 권한을, 작업 공간에는 쓰기 접근 권한을 가집니다. 웹 액세스, python, pypdf, libreoffice가 가능하며, venv로 pip install도 할 수 있습니다. 그게 전부입니다.
우선 말씀드리자면, 이것은 Codex보다 빠릅니다. 그리고 눈에 띄게 빠릅니다. 이 부분의 일부는 클라우드 덕분이라고 할 수도 있는데, sqllite db에서 프로젝트가 담긴 docx 책자를 생성하기 위해 python 스크립트를 실행할 때 SSD에서 직접 처리하는 데 걸리는 시간은 요청을 처리하는 생각하는 시간까지 포함하여 몇 초에 불과합니다. 두 번째는 지능입니다. 제 요청을 이해하고 다음 단계를 추론할 만큼 충분히 똑똑합니다.
서로 다른 출처의 이질적인(heterogeneous) 데이터 구조를 처리하고 결합할 수 있습니다. 데이터베이스(DB)에 CSV를 읽어들이는 인제스트 함수(ingest function)를 작성했지만, 매번 MS 폼에 존재했던 오타나 문법 오류를 수정하여 출처로부터 반복 가능한 재구축을 가능하게 하는 수동 편집도 추가했습니다. 세 번째는 적절한 수준의 지속성(persistence)입니다. 저에게 있어서 (그리고 이것은 아마도 제 기술적 문제일 수 있지만) hermes agent와 pi는 동일한 모델과 백엔드에서 너무 지속적이었습니다. 그들은 확인 없이 다음 단계를 결정하고 선을 넘는 경향이 있었고, 나중에 되돌려야 했습니다. Opencode가 훨씬 더 균형 잡혀 있고 codex와 비슷하게 느껴집니다 (이는 매우 큰 칭찬입니다. 저는 정말 codex를 좋아합니다). 마지막으로, 전반적인 품질입니다. 저에게는 Codex와 gpt 5.6이 좋았지만, 6 astra와 6.1 sol은 제가 사용하는 특정 사용 사례에서는 그 정도가 아니었습니다. Q3.8FN이 더 좋다고는 말할 수 없지만, 이 특정 작업에 대해서는 결코 나쁘지 않다고 생각합니다. 최근 codex에서 gpt 6 모델을 사용하면서 몇 번이나 좌절감을 느꼈기 때문에, 코딩 목적으로 이것을 더 많이 사용해야 할 것 같다는 생각이 듭니다. VRAM 부족 문제가 없다면, 이것이 미래일 것입니다: 모두가 64~128GB의 VRAM을 표준으로 갖춘 자체 하드웨어에서 "충분히 좋은" LLM을 사용하는 것 말입니다. 에이전트와 상호 작용할 때마다 프라이버시나 GDPR(유럽 일반 개인정보 보호법)를 끊임없이 걱정할 필요가 없고, 이 모든 것이 제 하드 디스크를 벗어나지 않는다는 것을 아는 것은 정말 좋습니다.
submitted by /u/dr_lm [link] [comments]