서론

최근 대규모 LLM (Large Language Model)의 내부가 어떤 구조로 움직이는지 배울 기회가 있었습니다.

기술적인 용어가 많아 어렵게 느껴지기 쉽지만, '전철'에 비유해 보니 매우 명쾌하게 이해할 수 있었습니다. 그래서 초보자의 관점에서 정리한 내용을 공유합니다. 조금이나마 도움이 되기를 바랍니다.

LLM의 내부를 움직이는 '5가지 요소'와 전철 비유

대규모 LLM 시스템은 크게 5가지 요소로 구성되어 있습니다. 이것들을 '전철'에 비유하여 정리해 보겠습니다.

1. 시스템 프롬프트 (System Prompt) = 「전철의 운행 규칙」

AI 전체에 대해 미리 설정되어 있는 최우선 규칙입니다.

전철의 '최고 시속 제한', '각 역 정차 및 급행 배정', '우선석 설치 기준'처럼, 시스템이 안전하고 정확하게 작동하기 위한 절대적인 토대에 해당합니다.

2. 커스텀 지시 (Custom Instructions) = 「차내 매너」

이용자가 AI에 대해 사전에 등록해 두는 선호하는 동작이나 공통 규칙입니다.

전철의 '큰 소리로 말하지 않기', '큰 소리로 음악 듣지 않기', '노약자에게 자리 양보하기'와 같이 승객이 쾌적하게 지내기 위한 매너나 행동 방식과 비슷합니다.

3. 컨텍스트 윈도우 (Context Window) = 「만원 전철」

AI가 한 번에 기억·처리할 수 있는 정보 용량(토큰 수)의 상한을 가리킵니다.

그야말로 '만원 전철'과 같습니다. 탑승할 수 있는 인원에는 상한이 있으며, 한계를 넘어 새로운 승객이 들어오면 오래된 승객(과거의 대화 데이터)이 밀려나 전철 밖으로 나가버리게 됩니다. AI가 긴 대화에서 예전 내용을 잊어버리는 이유는 바로 이 때문입니다.

4. 프롬프트 (Prompt) = 「승객」

이용자가 AI에 입력하는 질문이나 명령문입니다.

전철에 올라타는 '승객' 그 자체입니다. 어떤 승객이 타느냐에 따라 차내 상황이나 목적지(출력 결과)가 달라집니다.

5. 가드레일 (Guardrail) = 「비상 정지 버튼」

AI가 악의적인 질문이나 부적절한 출력을 하지 않도록 제어를 거는 안전장치입니다.

문제가 발생했을 때나 위험을 감지했을 때 작동하는 '전철의 비상 정지 버튼' 역할을 합니다.

중요한 정보는 어디에 있을까? AI와 전철의 공통점

전철의 차장실은 일반적으로 '맨 앞'과 '맨 뒤' 양 끝에 있으며, 전철의 안전 운행을 컨트롤하는 심장부 역할을 합니다.

사실 대규모 LLM도 이와 매우 유사한 성질을 가지고 있습니다. AI는 긴 문장을 처리할 때, '처음 문맥(앞부분)'과 '마지막 문맥(뒷부분)'의 내용을 특히 중시하는 경향이 있습니다. 아무리 똑똑한 AI라 하더라도 문장의 '중간'에 있는 정보는 잊어버리기 쉽다는 약점이 있습니다. 이를 'Lost in the Middle'이라고 부릅니다.

지시를 내릴 때는 중요한 규칙을 처음이나 마지막에 배치하면 AI가 올바르게 인식하기 쉬워집니다.

요약

언뜻 어려워 보이는 대규모 AI의 구조도 친숙한 '전철'로 치환하면 각각의 역할을 이미지로 떠올리기 쉬워집니다.

운행 규칙과 매너로 전체 행동을 규제함 -
만원 전철의 용량 안에서 **승객(질문)**을 처리함 -
위험이 있으면 비상 정지 버튼이 작동함 -
전철과 마찬가지로 **앞부분과 뒷부분(처음과 마지막 문맥)**이 중요

이 구조를 머릿속 한구석에 담아두면, AI에게 지시를 내릴 때(프롬프트 작성 시) '어디에 무엇을工夫(고안)하면 좋을지'가 보이게 될 것입니다.