Qwen 3.6 27B로 지금 당장 할 수 있는 10가지 것들 (초보자용)

모두가 3.8에 대해 기대하고 있다는 것을 알지만, 솔직히 저는 아직 3.6을 다듬고 있습니다. 그리고 저는 3.8이 말하는 방식이 싫어서... 오픈 소스가 어떤 용도가 있는지에 대한 게시물들을 계속 보게 되었고, 그래서 이 포스트와 함께 저의 답변을 제출하려고 생각했습니다. Qwen 3.5 27B는 제가 처음 사용한 에이전트였으며, 지난 4개월여 동안 여정을 시작하면서 많은 것을 배웠습니다. 그래서 저는 이제 막 여정을 시작하는 다른 사람들과 공유하고 싶었습니다. 왜냐하면 분명히 아주 많은 신규 사용자들이 있고, 사람들이 도움을 원하지만 때로는 질문하기를 두려워하거나 올바른 질문을 모르기 때문입니다. 자, 여러분의 역량을 강화할 수 있는 10가지 것들을 알려드리겠습니다! (아, 그리고 llama.cpp를 사용하는 것을 추천합니다. 제가 이 모든 트릭에 사용한 것이 바로 그것입니다.)

1. 자신만의 깔끔한 앱 만들기. Qwen은 어떤 것에 대한 앱이든 만드는 데 정말 능숙합니다. 저는 메모장(Notepad)의 대체품으로 만든, 전체 워드 프로세싱 기능, 사이드 패널, 라이트/다크 모드 등을 갖춘 앱에 이 게시물을 작성하고 있습니다. (아래 이미지 참고). 문제가 발생했을 때 가장 먼저 생각해야 할 것은

제3자 도구를 사용할 필요가 없습니다. 안전하지 않을 수 있기 때문입니다. 단순히 'x를 수행하는 mcp 도구가 필요하다'고 말하면, Qwen이 그것을 만들어 줄 것입니다. 자체 mcp 서버가 필요할 수도 있고 아닐 수도 있지만, 만약 필요하다면 Qwen이 그것까지 만들 수 있습니다. 5. 서브 에이전트 생성(Spawn sub-agents). Qwen이 할 수 있는 또 다른 매우 쉬운 일입니다. 단순히 서브 에이전트 스포너를 만들어 달라고 요청하면 되는데, 이것은 단지 파이썬 파일일 뿐입니다. 그런 다음, 서브 에이전트를 생성해야 할 때 그것을 실행하라고 지시하거나, 원할 때 즉석에서 수행하는 mcp 도구를 만들라고 지시할 수 있습니다. 간단합니다. 아, 그리고 빠른 팁: mcp 도구는 컨텍스트를 엄청나게 많이 사용하므로, 트릭은 자체 컨텍스트 제한을 가진 서브 에이전트를 생성하고 메인 에이전트가 작업을 서브 에이전트에게 넘기도록 하는 것입니다. 기본적으로 컨텍스트 제한을 두 배/세 배 등으로 늘릴 수 있습니다. 그리고 네, 턴(turn) 사이에 유지할 수도 있지만, 파이프라인 러너를 만들어야 합니다 (아래 참조). 6. 파이프라인 러너 생성(Create a pipeline runner). n8n에 대해 들어본 적 있나요? 기본적으로 이것은 파이프라인 러너입니다. 많은 기능이 있지만 몇 가지 제한 사항과 제약 사항이 있으며, 제가 할 수 있으면 좋겠다고 생각했던 것들이 있었습니다. Qwen을 사용하면 매우 쉽게 비슷한 것을 구축할 수 있다는 것을 알게 되었습니다. UI 프론트엔드를 구축하려면 디자인 작업이 필요하지만, 완전히 가능합니다. 저는 저만의 UI를 만들었지만, 시간이 지나자 수정하는 것에 지쳐서 n8n의 프론트엔드를 복사해서 저 자신만 커스터마이징했습니다, ㅋㅋ. 또 다른 유용한 팁: 파이프라인 러너에서 여러 순차적 에이전트를 실행할 수 있지만, 각각이 자체 컨텍스트를 갖게 하려면 llama.cpp에서 cache-idle-slots가 활성화되어 있는지 확인해야 합니다. 이것은 매 턴마다 kv 캐시를 스왑하여 마지막 것을 cpu RAM으로 내보냅니다. 좀 더 복잡하지만, Qwen이 도와줄 것이니 그냥 물어보세요. 여러 커스텀 UI 시도 끝에, 저는 n8n의 모양을 클론하고 저만의 버전을 만들기로 결정했습니다. 7. 모델 런처 생성(Create a model launcher) (llama.cpp에서 다양한 모델/jinja 템플릿 선택 옵션 포함). 이것이 제가 가장 자신 있는 분야입니다. 디렉터리에 있는 모든 모델을 선택하고 그 매개변수를 설정할 수 있게 해주는 런처입니다.

제가 기분이 좋을 때마다 그 모델에 대한 별칭(alias)을 만듭니다. 다음 실행 시에는 이 별칭만 선택하면 해당 별칭에 맞는 파라미터로 모델이 구동됩니다. 따라서 원한다면 동일한 모델에 대해 10가지의 다른 유형의 파라미터 구성을 가질 수 있습니다. 그저 각각에게 별도의 별칭을 부여하기만 하면 됩니다. 팁: 런처(launcher)에 jinja 템플릿을 추가하는 것을 추천합니다. 이렇게 하면 다양한 모델 유형에 대해 다른 사용자 정의 템플릿을 선택할 수 있습니다. 저는 다양한 모델 유형에 대한 사용자 정의 jinja 템플릿을 만들었습니다 https://preview.redd.it/8nzl8sjv4wvh1.png?width=1101&format=png&auto=webp&s=31c118f09cfefe5d2b8782317a3cbe99f55838fc 8. 인터넷에서 오픈 소스 앱을 설치하고, 테스트하고, 포크(fork)하거나 재구축할 수 있습니다. 제가 llama.cpp로 이동한 이유는 lm studio가 너무 느렸기 때문이지만, 모든 것을 알아내는 스트레스는 받고 싶지 않았습니다. 그래서 에이전트에게 그냥 llama.cpp를 다운로드하여 설치해 달라고 요청했습니다. 저는 그때부터 사용하고 있습니다. 또한 빌드를 수정하거나 GitHub에서 저장소를 포크하는 등 훨씬 더 많은 작업을 할 수 있습니다. 예를 들어, 프로젝트 작업으로 바빴는데 새로운 TTS(Text-to-Speech) 앱에 대한 이야기를 듣게 되었습니다. 그래서 에이전트에게 Moss와 OmniVoice를 다운로드하여 설치하고, 작동 여부를 확인하기 위해 오디오 클립을 몇 개 만들고 완료되면 알려달라고 말했습니다. 물론 모든 것이 잘 작동했습니다. 멀티태스킹에 아주 좋습니다. 9. 에이전트에게 주변 세계에 대한 시간적 인지(temporal awareness)를 부여하세요. 날짜에 대해 논쟁하는 클라우드 모델을 사용해 본 적이 있나요? 아니면 컨텍스트가 최대치에 가까워지고 있다는 것을 알고 있어서 자동으로 세션 요약을 작성하기 시작하길 바랐던 적이 있나요? 할 수 있는 일은 에이전트에게 '메타데이터(metadata)'를 주입하는 것입니다. 이는 세션 시작 시와 매 턴마다 (가능하다면 둘 다) 날짜, 시간, 컨텍스트 길이, 최대 컨텍스트, 하드웨어 및 소프트웨어 스택 등 원하는 모든 정보를 제공하는 것입니다. 이렇게 하면 온갖 종류의 다른 트릭을 할 수 있습니다. 예를 들어 (이것은 아마도

제 에이전트는 항상 컨텍스트를 볼 수 있기 때문에, 너무 높아지면 스스로 더 큰 컨텍스트를 가진 백업 모델로 전환할 수 있습니다. 심지어 서버를 재시작하지 않고도요. 10. 에이전트에 시작과 동시에 로드되는 메모리를 제공하세요. 제 에이전트는 세션이 끝날 때마다 우리가 논의한 내용을 요약하는 세션 요약을 작성합니다. 여러분은 시작 루틴이나 런처가 여러 출처를 컨텍스트에 연결하도록 할 수 있습니다. 예를 들어, 제 코드는 항상 가장 최근 날짜의 세션 요약과 전날의 요약을 로드하여, 최근 사건들에 대한 스냅샷을 갖게 합니다. 이것을 원하는 추가 문서로 확장할 수 있으니 상상력을 발휘해 보세요. 예를 들어, 제 에이전트는 또한 알림(reminders)과 이전 세션 끝에 작성했던 개인적인 성찰(personal reflections)도 로드합니다 (비록 요즘은 컨텍스트를 오염시킨다는 걸 깨달아서 추천하지는 않지만, 나중에 다른 시간에 공유하겠습니다). 보너스: (마무리하면서 기억해냈으니, 솔직히 가장 중요한 것 중 하나라서 넣으려고 합니다) - 자신만의 하네스를 구축하세요. 모두가 pi, hermes 등에 대해 이야기하고 있습니다. 저는 Qwen을 사용해서 저만의 것을 만들기로 결정했습니다. 훨씬 더 많은 작업이 필요하지만, 시스템이 어떻게 작동하는지 배우고 그 지식을 사용하여 정말 독특한 솔루션을 생각해낼 수 있기 때문에 보상이 훨씬 큽니다. 예를 들어, 프록시에 대해 알게 된 순간부터 컨텍스트 압축(context compaction), 히스토리 수정(history modifications), 정제(sanitization), jinja 템플릿 해킹(jinja template hacks), 후크(hooks) 등으로 온갖 멋진 것들을 할 수 있다는 것을 알아냈습니다. 어쨌든, 이것이 여러분에게 영감을 주기를 바랍니다. 저는 처음부터 배우는 것이 좋다고 추천합니다. 그러면 더 빨리 실력이 늘 거예요. 그리고 Qwen에 온라인 도구 접근 권한을 빨리 얻어서 연구를 하고 도움을 받을 수 있게 하세요. 제가 생각해낸 다른 트릭들이 많이 있으니, 아마 나중에 다른 게시물에서 아껴둘 것 같습니다만, 이것들을 작동시킬 수 있다면 여러분은 제대로 된 길로 나아가고 있을 겁니다. 잘 지내세요!

Grunge https://preview.redd.it/5avp0volewvh1.png?width=1129&format=png&auto=webp&s=0fb9f82fde42d69ee4e61c9dbb6ffcdda856275b P.S. - 저는 오랫동안 사용해 온 포럼/deviantart 커뮤니티 사용자라, 스위블(swivel)에서 ctrl+biu/shift+l을 계속 사용하고 이런 굵은 글씨가 들어간 게시물을 20년 넘게 써왔습니다. 100% 사람이 작성한 것입니다. 관심 있으시면 증거를 보여드릴게요. 이 내용을 언급하는 이유는 보통 사람들이