Codex CLI로 Gemma4를 실행해 보았습니다

처음 뵙겠습니다. 주식회사 NeurestX의 쿠와야마입니다.

얼마 전, Ollama가 Codex App을 지원한다는 뉴스를 보고, Codex 상에서 로컬 LLM (Local Large Language Model)을 구동하기 위한 검증을 진행했습니다. 본래는 Codex App 상에서 구동할 예정이었으나, 에러로 인해 Codex CLI 상에서 검증을 진행하게 되었습니다.

Ollama란 자신의 컴퓨터 상에서 대규모 언어 모델 (Local LLM)을 실행할 수 있는 오픈 소스 도구입니다.

로컬 LLM (Local LLM)이란, AI 모델을 자신들의 환경 (사내 서버나 로컬 PC 등)에서 동작시키는 운용 형태입니다. 로컬 LLM의 강점은 오프라인 환경에서 실행할 수 있거나, 기밀 정보를 외부에 노출하지 않고 처리할 수 있다는 점 등이 있습니다.

대칭되는 용어로는 클라우드 LLM (Cloud LLM)이 있으며, 이는 인터넷을 통해 외부의 AI 서비스에 접속하여 AI 모델의 처리 결과를 이용하는 형태를 가리킵니다. 모델 본체가 제공 기업의 클라우드 상에 있다는 것이 특징입니다.

클라우드 LLM의 대표적인 예로는 ChatGPT나 Gemini 등이 있습니다. (각각 OpenAI와 Google의 클라우드에 있습니다)

Codex라는 AI 에이전트는 일반적으로 커맨드 라인 (Command Line)을 사용하여 실행됩니다 (Codex CLI). 이 에이전트의 애플리케이션 버전이 Codex App입니다.

먼저 필자의 PC 사양은 다음과 같습니다. 노트북입니다.

• CPU: Intel Core Ultra7 258V
• GPU: Intel Arc Graphics (128 MB)
• RAM: 32GB
• OS: Windows 11 Home

위 사이트에서 설치했습니다.

winget install Ollama.Ollama

커맨드 라인이라면 위 명령어로 설치할 수 있습니다.

버전이 출력되면 성공입니다.

ollama --version
ollama version is 0.24.0

위 사이트에서 설치했습니다.

ollama launch codex-app

이번에는 gemma4를 선택했습니다.

로컬 LLM을 구동하려고 Codex App이 기동된 것은 좋았으나 에러가 발생했습니다.

"백업 샌드박스를 사용한다"를 클릭해도 변화가 없었고, 조사해 보아도 유효한 수단을 찾을 수 없어 Codex App 사용을 단념하고, Codex CLI 상에서 Ollama를 구동하기로 했습니다.

또한, 터미널 상에서 다음 명령어를 실행함으로써 Codex (모델 지정)를 기동할 수 있습니다.

codex --profile ollama-launch-codex-app

하지만 명령어를 실행하자 다음과 같은 에러가 발생했습니다.

Error loading config.toml: --profile ollama-launch-codex-app cannot be used while C:\~~\.codex\config.toml contains legacy profile = "ollama-launch-codex-app" or [profiles.ollama-launch-codex-app] config; move those settings into C:\~~\.codex\ollama-launch-codex-app.config.toml and remove the legacy profile selector/table. See https://developers.openai.com/codex/config-advanced#profiles for more information.

요컨대, config.toml의 작성 방식이 달라서 동작하지 않는다는 내용입니다. 원인은 십중팔구 ollama launch codex-app을 실행하여 config.toml이 새로 작성되었기 때문이라고 생각됩니다.

따라서, config 관련 부분을 정리했습니다.

config.toml 내의

• [profiles.ollama-launch-codex-app]
• [model_providers.ollama-launch-codex-app]

이 두 부분을 삭제합니다. 삭제만 하면 gemma4로 기동되지 않기 때문에, config.toml이 있는 디렉토리에 ollama-launch-codex-app.config.toml을 생성합니다. 그곳에 아래 내용을 입력

model = "gemma4"
model_provider = "ollama"
[model_providers.ollama]
...

codex --profile ollama-launch-codex-app

위 명령어를 실행하자 터미널 상에서 Codex CLI가 작동했습니다. model 부분을 gemma4:e4b 등으로 변경하면 해당 모델로 실행됩니다.

어떻게든 환경 구축을 완료하여, 마침내 Codex CLI(모델 실체는 Gemma4) 상태로 실행할 수 있었습니다.

Codex CLI 상에서 모델을 gemma4:e4b와 gpt5.5로 설정하여 로컬 LLM (Local LLM)과 클라우드 LLM (Cloud LLM)의 비교를 진행합니다. 동일한 문장(일본어)으로 명령을 내리고, 실행 결과의 출력 시간 및 코드 양에 따라 비교를 수행합니다.

이번에 사용한 프롬프트 (Prompt)는 다음과 같습니다.

당신은 Codex CLI 상에서 동작하는 개발 에이전트입니다.
이 프로젝트의 파일을 직접 생성 및 편집해 주세요.
설명만 하거나, 인사만 하거나, 코드 표시만 하고 끝내지 마세요.
...

파일이 올바르게 생성된 것을 확인할 수 있었습니다.

화면 표시와 로그인 모두 정상적으로 이루어졌습니다.

이번에 이 모델을 사용한 이유는 필자의 PC 사양상 대규모 LLM (gemma4:31b 등)은 동작이 불안정할 가능성이 있어, 경량 모델인 gemma4:e4b를 채택했기 때문입니다.

프롬프트의 "코드 표시만 하고 끝내지 마세요."라는 부분은 무시되었습니다. 하지만 코드는 표시되었으므로 파일을 생성하여 테스트해 보겠습니다.

우선 app.py, requirements.txt, templates/login.html, templates/home.html을 생성하고, 각각 출력된 코드를 붙여넣어 갑니다. 여기서 제가 놓친 부분이 있었는데, home.html이 아니라 index.html로 출력되었습니다. 아래 이미지의 home.html은 내용이 비어 있습니다.

UI의 차이는 있지만 요구 사항대로 구현되었습니다.

이번에는 Codex CLI 상에서 Ollama를 사용하여 로컬 LLM을 실행했습니다. 필자의 PC가 노트북이며 사양이 아주 높지 않기 때문에 gemma4:e4b와 gpt5.5를 비교했습니다.

결과적으로, 노트북에서 LLM을 실행할 경우에는 클라우드 LLM을 사용하는 것이 좋겠다는 느낌을 받았습니다. 이유는 두 가지입니다. 첫 번째는 실행 시간 측면입니다. 두 번째는 명령 이해도의 차이입니다. 이번에 사용한 프롬프트 기준으로 실행 시간에 2분 미만의 차이가 있었고, 명령 이해에 있어서도 눈에 띄는 차이가 느껴졌기 때문에 클라우드 LLM이 더 낫다고 판단했습니다.

반면 로컬 LLM은 네트워크가 없는 오프라인 환경에서 실행할 수 있다는 등의 강점이 있으므로, 용도에 따라 구분하여 사용하는 것이 바람직하다고 느꼈습니다.