나를 더 성장하게 만든 제약: 컨텍스트 제한 내에서 작업하기에 대하여

최근 AI 프롬프트에 모든 것을 쏟아붓고 있다면—전체 코드베이스, 몇 달간의 대화 기록, 문서 세트 전체 등—잠시 멈춰보시기 바랍니다. 더 나은 방법이 있으며, 그것은 제약을 싸워 이겨야 할 대상이 아닌 수용해야 할 대상으로 받아들이는 것에서 시작됩니다.

여러분이 무슨 생각을 하는지 알고 있습니다. "하지만 나는 거대한 컨텍스트 윈도우 (Context Window)를 가지고 있는데, 왜 사용하지 말라는 거지?" 저도 정확히 그렇게 생각했습니다. AI의 도움을 받는 제 작업이 더 좋아지기는커녕 오히려 나빠지는 것을 발견하기 전까지는 말이죠. 출력 결과가 표류하고, 추론 (Reasoning)이 루프에 빠지며, 오류가 누적되었습니다.

아무도 말하지 않는 진실은 이것입니다: 더 많은 컨텍스트 (Context)가 반드시 더 나은 결과로 이어지는 것은 아닙니다.

유혹적인 함정

현대 AI 도구들은 엄청난 컨텍스트 윈도우 (Context Window)를 자랑합니다. Claude, GPT-4, Gemini—이들은 방대한 양의 정보를 처리할 수 있습니다. 그리고 네, 그것은 진정으로 유용합니다. 하지만 그 과정에서 우리는 "모든 것을 쏟아붓는 것"을 모범 사례 (Best Practice)로 취급하기 시작했습니다.

생산적인 것처럼 느껴집니다. 준비가 된 기분이 들죠. 모델이 필요할 수 있는 모든 것을 가지고 있으니까요, 그렇지 않나요?

하지만 실제로는 그렇지 않습니다.

컨텍스트 윈도우 (Context Window)를 범람시키면, 모델에게 더 많은 작업 거리를 주는 것이 아니라 노이즈 (Noise)를 만드는 셈이 됩니다. 구성 요소 간의 미묘한 연결 관계가 평탄화됩니다. 중요한 의존성 (Dependencies)이 무관한 세부 사항 속으로 사라집니다. 일관성을 유지하기에 정보가 너무 많기 때문에 추론 (Reasoning)이 혼란스러워집니다.

그 결과는 어떨까요? 응답 속도는 느려지고, 출력 품질은 저하되며, 발생하지 않았어야 할 실수를 바로잡기 위해 더 많은 되돌아가기 (Backtracking)를 수행하게 됩니다.

"컨텍스트는 저렴하다"는 말이 틀린 이유

어디에서나 이런 말을 듣습니다: 컨텍스트는 점점 저렴해지고 있다. 윈도우 (Windows)는 확장되고 있다. 임베딩 (Embeddings) 비용은 낮아지고 있다. 이는 사실입니다. 하지만 이는 가용성 (Availability)과 효과성 (Effectiveness)을 혼동하고 있습니다.

더 큰 양동이를 가졌다고 해서 그 안에 모든 것을 채워야 한다는 뜻은 아닙니다. 때로는 더 많은 쓰레기를 운반하기 위해 더 열심히 일하고 있다는 의미일 뿐입니다.

희소 컨텍스트 (Sparse Context)를 위한 설계

저에게 모든 것을 바꿔 놓은 변화는 "컨텍스트 극대화 (Maximize Context)"에서 "관련성 최적화 (Optimize Relevance)"로 전환하는 것이었습니다.

모든 것을 입력하고 모델이 알아서 분류하게 두는 대신, 저는 각 단계에서 컨텍스트 (Context)에 무엇이 들어갈지를 의도적으로 결정하게 되었습니다.

중요한 상태 (State)는 유지됩니다. 장기적인 사실, 설계 결정, 확립된 선호도 등은 세션 전반에 걸쳐 유지되는 메모리 계층 (Memory layer)에 저장됩니다. 여러분의 컨텍스트 윈도우 (Context window)는 모든 것을 담는 캐시 (Cache)가 되어서는 안 됩니다. 현재 수행 중인 작업을 위한 워킹 셋 (Working set)이 되어야 합니다.

컨텍스트는 현재 작업의 범위로 제한됩니다.