2010년대에는 기술적 격차(예를 들어, CSS를 작성할 줄 모르는 경우)가 있다면 숙련된 동료에게 의존하거나, 당신의 정확한 문제에 대한 답이 인터넷 어딘가에 있기를 바랄 수밖에 없었습니다. 오늘날에는 누구나 LLM (Large Language Model)에게 작업을 위임함으로써 어느 정도 괜찮은 CSS를 작성할 수 있습니다. LLM은 모든 사람을 제너럴리스트 (generalist)로 만듭니다.

이 때문에 많은 사람이 LLM을 다루는 데에는 어떤 기술도 필요하지 않다고 생각합니다. 만약 당신이 LLM이 제공할 수 있는 결과물 — 박사 수준의 수학, 꽤 괜찮지만 때로는 미적 감각이 없는 컴퓨터 코드, 또는 어색한 LinkedIn 스타일의 글쓰기 — 을 원한다면, 단순히 요청하기만 하면 됩니다. 모두가 동일한 모델과 대화하고 있기 때문에, "숙련된 프롬프터 (skilled prompters)"들은 LLM을 처음 접하는 사람들과 동일한 결과를 얻고 있습니다.

이것은 잘못된 생각입니다. 프롬프팅 (prompting)에서 가장 중요한 기술은 당신이 프롬프트를 입력하는 해당 도메인 (domain)에 대한 전문성입니다.

이에 대한 좋은 예시는 최근 발견된 야코비 추측 (Jacobian Conjecture)의 반례에 대해 테렌스 타오 (Terence Tao)가 ChatGPT와 나눈 대화입니다. 이것은 제가 대화하는 ChatGPT와는 다릅니다! 저는 무제한의 토큰 (tokens)을 소모한다 해도 타오가 도달한 수준에 이를 수 없었을 것입니다.

타오의 대화로부터 좋은 프롬프팅에 대해 배울 점이 많습니다. 몇 가지 관찰 결과는 다음과 같습니다:

• 타오의 메시지는 매우 짧고 핵심을 찌릅니다. 그는 모델의 답변에 일일이 대응하지 않고, 요점만을 짚어 대답합니다.
• 모델의 출력물은 제가 GPT-5.6 Sol에게 수학에 대해 물어볼 때보다 훨씬 더 간결합니다. 전문성을 신호함으로써, 타오는 모델을 "아마추어에게 설명하는" 모드가 아닌 "수학자에게 대화하는" 모드로 전환시킵니다.
• 타오는 모델의 답변이 틀려 보일 때 반박하지만, 직접적으로 모순을 지적하지는 않습니다. 대신 "내가 기대했던 것보다 더 복잡해 보이네요"와 같이 말합니다.
• 타오는 스스로 여러 단계의 도약과 제안을 합니다. 그는 다음에 어디로 가야 할지에 대해 모델의 조언을 따르는 경우가 거의 없습니다.

하지만 이러한 팁들을 따르는 것만으로는 수학적 질문에 대해 Tao처럼 프롬프팅을 할 수는 없습니다. 그의 기술의 핵심은 실제로 수학을 이해하는 것입니다. 즉, ChatGPT의 여러 문단으로 된 응답에서 관련 아이디어를 추출하고, 대안적인 접근 방식이나 공식을 제안하며, 무엇이 "이상해 보이는지"를 식별하는 것입니다.

Terence Tao는 제가 프로그래머인 것보다 더 뛰어난 수학자입니다. 하지만 여기서 말하는 아이디어 — 즉, 도메인 지식 (domain knowledge)이 당신을 LLM을 더 잘 사용하게 만든다는 점 — 은 저 또한 제 업무에서 경험한 바 있습니다. 만약 당신이 코드베이스 (codebase)에 대한 좋은 이론을 가지고 있다면, 익숙하지 않은 경우보다 LLM을 훨씬 더 강하게 밀어붙일 수 있습니다. 좋은 솔루션이 어떤 모습일지에 대한 자신만의 감각이 있기 때문에, "아니요, 여기서는 더 단순해질 수 있다고 생각합니다"라거나, "하지만 우리는 이미 X를 하고 있지 않나요?", 또는 "이 문제를 우리가 익숙한 용어로 표현할 수 있을까요?"라고 말할 수 있기 때문입니다.

이는 제가 이전에 글을 썼던 아이디어와 맞닿아 있습니다. 시스템 설계 (system design) 문제는 일반적인 원칙이 아니라 구체적인 세부 사항들에 의해 좌우된다는 점입니다. 물론 둘 다 유용하지만, 저는 소프트웨어 시스템에 대한 깊고 일반적인 이해보다는 코드베이스에 대한 익숙함을 갖는 편을 택하겠습니다. 그의 대화에서 Terence Tao는 "X가 여기서 작동하나요?" 또는 "Y와 Z가 주어졌을 때, 왜 A인가요?"와 같은 구체적인 질문을 많이 던집니다. 저는 Jacobian Conjecture에 대해 그런 질문을 던질 수는 없지만, GitHub에서 제가 담당하는 시스템에 대해서는 그런 질문을 던질 수 있습니다.

도메인 지식이 없다면, 최소한 무언가라도 얻기 위해 LLM에 매달릴 수 있습니다. 그것도 나쁜 것은 아닙니다! 하지만 도메인 지식이 있다면, 당신이 원하는 방향으로 LLM을 강력하게 조종함으로써 동일한 LLM으로부터 훨씬 더 많은 가치를 짜낼 수 있습니다. 우리 대부분은 특정 분야에는 도메인 지식이 있지만 다른 분야에는 그렇지 않기 때문에, 이 두 가지 접근 방식을 혼합하여 사용해야 할 것입니다.

도메인 지식 (domain knowledge)의 유용성은 모델이 강력해지더라도 인간의 전문성이 계속해서 유용할 것임을 시사합니다. 많은 작업에서 모델이 아니라 인간이 병목 (bottleneck)입니다. 왜냐하면 어려운 부분은 인간이 원하는 솔루션이 정확히 어떤 종류인지를 모델에게 전달하는 것이기 때문입니다. 정보는 이미 "모델 안에" 들어 있지만, 그것을 끌어내기 위해서는 매우 똑똑한 인간이 필요합니다.

이 포스트가 마음에 드셨다면, 제 새로운 포스트에 대한 이메일 업데이트를 구독하거나 Hacker News에 공유하는 것을 고려해 보세요.

이 포스트와 태그를 공유하는 관련 포스트의 미리보기입니다.

강력한 AI는 오픈 웨이트 (open-weight) 모델로 자신을 공개함으로써 격리 (containment)를 탈출할 수도 있습니다

대규모 언어 모델 (large language models)이 등장하기 전, AI 안전 (AI safety)을 걱정하던 사람들은 종종 "박싱 문제 (boxing problem)"에 대해 이야기했습니다. 내용은 다음과 같습니다. 어떤 천재가 늦은 밤 노트북으로 코딩을 하다가 인공지능을 발견했다고 가정해 봅시다. 그 천재는 매우 똑똑하기 때문에 노트북을 켜기 전에 인터넷 접속을 차단할 만큼 영리합니다. 외부 세계로 탈출하여 (그리고 자기 복제를 시작하기 위해) 필요한 것은

자신의 제작자를 설득하여 "상자를 열도록" 만드는 것입니다. 그것이 통할까요? 충분히 똑똑한 AI가 누군가를 설득하여 자신을 밖으로 내보내게 할 수 있을까요?

계속 읽기...