저희는 초안을 재작성하고, 문법을 교정하며, 변경 사항을 설명하는 다국어 작문 비서(writing assistant)를 만들고 있습니다. 저는 Oxlo.ai에서 이 프로젝트를 실행하는데, 요청당 요금이 고정되어 있어 2,000단어 분량의 문서가 트윗과 같은 비용이 들기 때문입니다. 만약 LLM에 처음 접한다면, 이것이 유용한 언어 도구를 배포하는 가장 빠른 방법입니다.

필요한 것들

• Python 3.10 이상
• https://portal.oxlo.ai에서 받은 Oxlo.ai API 키
• OpenAI SDK: pip install openai

단계 1: Oxlo.ai 클라이언트 설정

assistant.py라는 파일을 만드세요. SDK를 가져와서 Oxlo.ai를 가리키도록 설정합니다. 저는 이 프로젝트에서 혼합 언어 입력을 안정적으로 처리하는 qwen-3-32b를 사용합니다.

from openai import OpenAI

client = OpenAI(base_url="https://api.oxlo.ai/v1", api_key="YOUR_OXLO_API_KEY")
...

단계 2: 시스템 프롬프트 정의

시스템 프롬프트는 이 앱이 필요로 하는 유일한 로직입니다. 저는 JSON 출력을 강제하여 정규 표현식(regex) 해킹 없이도 응답을 기계가 읽을 수 있도록 합니다.

SYSTEM_PROMPT = """당신은 전문 작문 비서입니다. 사용자가 초안을 제공하면:

1. 명확성을 위해 재작성하고, 문법을 교정하며, 적절한 어조를 갖추도록 수정합니다.
...

단계 3: 초안 처리기 구축

이 함수는 초안을 Oxlo.ai로 보내고 JSON 응답을 파싱합니다. json_object 모드를 활성화하면 모델이 유효한 JSON을 반환하게 합니다.

import json
from openai import OpenAI

...

실행하기

아래 전체 스크립트를 assistant.py로 저장하고 python assistant.py를 실행하세요. 루프가 세 개의 초안을 처리하고 결과를 출력합니다.

import json
from openai import OpenAI

...

예상 출력:

Original: i didnt recieve the package yet, its been 2 week and im getting angry!!
Rewritten: I have not received the package yet. It has been two weeks, and I am becoming concerned.
Changes: ["Fixed spelling of 'receive'", "Expanded contractions for professional tone", "Replaced 'angry' with 'concerned' to soften tone"]
...

마무리

이것이 전체 파이프라인입니다. 두 가지 구체적인 다음 단계가 있습니다. 다른 서비스들이 초안을 POST 할 수 있도록 FastAPI 엔드포인트를 추가하거나, 사용자들이 주로 영어로 작성하고 가장 강력한 일반 추론 능력을 원한다면 모델을 llama-3.3-70b로 교체하는 것입니다. 두 변경 사항 모두 클라이언트가 OpenAI와 완전히 호환되기 때문에 약 10분밖에 걸리지 않습니다.