유창한 답변이 곧 이해를 의미하는 것은 아닙니다. 기술적인 주제에서 AI는 막연한 의문을 AI 없이도 스스로 다시 수행할 수 있는 조사 과정으로 변환하도록 도울 때 가장 유용합니다.

이 아이디어는 0xkato의 “How to Research Technical Topics With AI”에서 가져왔습니다. 이 글은 LLM(Large Language Models)이 어떻게 작동하는지 공부하기 위해 사용되는 프로세스를 설명합니다. 즉, AI는 용어, 의존성(dependencies), 출처 및 비판점을 제안하고, 사람은 참조 문헌을 열람하고, 설명을 테스트하며, 종합적인 내용을 작성합니다.

핵심은 원칙적으로 AI 사용을 줄이는 것이 아닙니다. 프로세스의 올바른 위치에 AI를 배치하는 것입니다.

1. 조사에 적합한 질문으로 시작하기

“LLM은 어떻게 작동하는가?”라는 질문은 학습(training), 토큰화(tokenization), 아키텍처(architecture), 하드웨어(hardware), 추론(inference), 정렬(alignment), 제품(product) 등 너무 많은 주제를 포함합니다. 광범위한 질문은 대개 설득력 있는 개요를 제공하지만, 어떤 부분을 정확하게 설명하기에는 유용성이 떨어집니다.

대신, 메커니즘을 잘라내어 범위를 좁히십시오. 예를 들어, 프롬프트(prompt) 입력과 다음 토큰(token) 예측 사이에 어떤 일이 일어나는지 질문할 수 있습니다. 이렇게 범위를 좁히면 경계와 학습 순서가 생깁니다. 또한 무엇이 제외되었는지도 명확해집니다.

AI는 여기서 모호함을 지적하고, 사전 개념을 나열하며, 의존성 순서를 제안함으로써 도움을 줄 수 있습니다. 이것은 초기 지도(map)이지, 최종 답변이 아닙니다.

2. 설명을 찾기 전에 용어를 먼저 파악하기

우리는 종종 혼란스러운 상황을 설명할 수는 있지만, 그것의 기술적인 명칭은 모를 때가 많습니다. “모델이 이전 단어가 무엇인지 어떻게 아나요?”와 같은 질문은 위치 인코딩(positional encodings), 상대적 위치(relative positions), RoPE와 같은 용어로 이어집니다. 올바른 용어를 알게 되면 논문(papers), 문서(documentation), 코드(code)를 찾는 과정이 무작위적인 검색이 아니게 됩니다.

또한 참조 문헌을 열기 전에 모델에게 각 참조에서 무엇을 기대할 수 있는지 물어보는 것도 가치가 있습니다. 논문은 아이디어가 어떻게 형성되었는지 보여줄 수 있고, 문서는 현재의 구현(implementation)을 보여줄 수 있으며, 코드는 개요에서 생략된 세부 사항을 명확히 해줄 수 있습니다. 그럼에도 불구하고, 각 참조 문헌은 반드시 맥락 속에서 읽어야 합니다.

3. 한 번에 하나씩 공부하기

의존성(dependencies)을 파악한 후에는, AI에게 시스템 전체를 설명해 달라고 요청하고 싶은 유혹을 뿌리치세요. 한 부분만 선택하고, 그 부분에 무엇이 입력되고, 어떤 일이 일어나며, 무엇이 출력되는지 스스로 말할 수 있을 때까지 다음 단계로 넘어가지 마세요.

이 글에서는 멀티 헤드 어텐션 (multi-head attention)을 예로 사용합니다. 벡터가 각 헤드(head)를 위해 "조각으로 나뉜다"는 이미지는 기억하기 쉽지만, 오해를 불러일으킬 수 있습니다. 더 정확한 설명은 각 헤드가 쿼리 (Queries), 키 (Keys), 값 (Values)을 위해 학습된 투영 (projections)을 사용한다는 것입니다. 구현 (implementations) 단계에서는 효율성을 위해 연산을 그룹화할 수 있지만, 이것이 헤드를 원래 벡터의 미리 정의된 의미론적 조각 (semantic slices)으로 변환하는 것은 아닙니다.

AI에게 던지기 좋은 질문은 다음과 같습니다: "이 설명에서 기술적으로 틀린 부분은 무엇인가? 무엇이 합리적인 단순화(simplification)이며, 어느 지점부터 그 단순화가 위험해지는가?" 즉각적인 재작성(rewriting)을 요구하지 말고 비판을 요청하세요. 만약 당신이 문제를 이해하기도 전에 모델이 당신의 텍스트를 대체해 버린다면, 공백을 알아차리지 못한 채 새로운 문장을 쉽게 받아들이게 될 위험이 있습니다.

4. 증거와 설명을 분리하여 유지하기

공부한 각 부분에 대해 두 가지를 기록하세요. 하나는 기술적 주장 (technical claim)과 그 출처(source)이며, 다른 하나는 그 개념에 대한 당신만의 가장 단순한 설명입니다. 이 둘은 서로 다른 역할을 수행합니다.

멘탈 모델 (mental model)은 누군가가 직관을 따라갈 수 있게 해줍니다. 출처는 그 직관이 무엇을 나타내는지, 그리고 그 한계가 어디인지를 정의합니다. 이러한 분리는 유용한 단순화가 전체 모델이나 모든 구현에 대한 문자 그대로의 주장으로 변질되는 것을 방지합니다.

5. 채팅은 출처가 아니다

모델은 논문 (paper), 문서 (documentation), 벤치마크 (benchmark) 또는 구현 (implementation)을 가리킬 수 있습니다. 하지만 모델이 그것들의 자리를 대신해서는 안 됩니다. 중요한 주장이라면 직접 참조 문헌을 열고, 해당 구절을 찾아 주변 맥락을 읽은 뒤, 저자가 정말로 당신이 사용하려는 논지를 옹호하고 있는지 확인해야 합니다.

또한 시기(age)와 맥락(context)도 확인하세요. 오리지널 트랜스포머 (transformer), 현재의 디코더 전용 (decoder-only) LLM, 그리고 특정 구현체는 서로 연관되어 있지만 서로 교체 가능한 것은 아닙니다. 어떤 설명은 경고 없이 여러 세대의 아키텍처 (architecture)를 혼합하여 설명할 수도 있습니다. 당신의 노트는 이러한 차이를 반드시 보존해야 합니다.

6. 자신의 설명을 스스로 무너뜨려 보기

가장 말이 되는 것처럼 보이는 첫 번째 설명이야말로 바로 압박을 가해야 할 대상입니다. 질문해 보세요: 이 멘탈 모델 (mental model)이 실패하는 지점은 어디인가? 어떤 단어가 너무 강하게 표현되었는가? 내가 설명하는 것이 모든 경우에 발생하는 현상인가, 아니면 흔한 구현 (implementation) 사례인가?

이 과정은 "어텐션 헤드 (attention heads)가 전문화된다"와 같이 쉬운 문장을, 증거가 요구하는 대로 더 신중한 표현으로 바꿉니다. 일부 어텐션 패턴은 식별 가능할 수 있지만, 이것이 각 헤드가 깨끗하고 고정된 기능을 가진다는 것을 증명하지는 않습니다. "피드포워드 네트워크 (feed-forward network)가 지식을 저장한다" 또는 "모델이 추론하는 법을 배운다"와 같은 표현에도 동일한 신중함이 필요합니다.

반론을 찾기 위해서는 설명을 만들어냈던 것과 동일한 대화에 의존하지 마세요. 검색어를 바꾸고, 후속 연구와 비판을 찾아보며, 다른 도구를 사용하거나 초기 추론 과정을 따라오지 않은 다른 사람에게 읽어달라고 요청하세요.

7. 채팅을 종료하고 주제를 재구성하기

가장 유용한 테스트는 인터페이스를 열어두지 않은 상태에서 이루어집니다. 빈 페이지에 그 메커니즘을 설명해 보세요. 인접한 두 구성 요소를 명명할 수는 있지만, 그 둘 사이에 무엇이 변했는지 말할 수 없다면 구체적인 공백을 발견한 것입니다. 그 지점에서 다시 출처로 돌아가세요.

자신의 언어로 쓰는 것은 단순히 정보를 전달하는 단계가 아닙니다. 그것은 연구의 일부입니다. 설명이 화면에 떠 있을 때는 당연해 보일 수 있지만, 도움 없이 재구성하려고 하면 사라져 버릴 수 있습니다.

AI는 이미 구조가 잡히고, 검증된 노트와 멘탈 모델 (mental models), 그리고 명확한 한계가 설정된 이후의 편집 단계에서 다시 사용하세요. 연구용 채팅에는 가설, 막다른 골목, 반복되는 출처들이 포함되어 있습니다. 대화 전체를 그대로 기사로 변환하면 이러한 재료들이 마치 결론인 것처럼 보일 수 있습니다.

간단한 규칙

질문을 다듬고, 어휘를 찾고, 출처를 식별하며, 설명을 테스트하고, 약점을 드러내는 데 AI를 사용하세요. 주장을 뒷받침하기 위해 출처를 사용하세요. 학습이 이루어졌는지 확인하기 위해 당신 자신의 재구성을 사용하세요.

그 결과는 잘 쓰인 답변을 그대로 복사하는 것보다 덜 즉각적일 수 있습니다. 그 대신, 당신은 스스로 방어하고, 적응시키고, 수정할 수 있는 설명을 얻게 됩니다.

참고 문헌: How to Research Technical Topics With AI, 작성자 0xkato.