당신은 두 명의 독자를 위해 글을 쓰고 있습니다, 그중 한 명은 모델입니다
요약
콘텐츠 제작 시 사람뿐만 아니라 LLM 모델을 두 번째 독자로 고려해야 하는 시대가 왔습니다. LinkedIn의 사례를 통해 LLM이 콘텐츠의 의미를 파악하고 검색(retrieval) 단계에서 어떻게 활용되는지 분석하며, 단순 키워드 조작이 통하지 않는 변화를 설명합니다.
핵심 포인트
- 콘텐츠는 사람과 LLM 모델 모두를 만족시키도록 작성되어야 함
- LinkedIn은 LLM을 콘텐츠 의미 파악 및 리트리버 단계에 활용
- 단순 키워드나 좋아요 조작 대신 문맥적 의미가 중요해짐
- 온라인상의 잘못된 정보(360Brew 등)를 경계하고 1차 자료를 확인해야 함
이제 당신이 쓰는 모든 게시물은 두 명의 독자에게 전달됩니다.
첫 번째는 사람입니다. 그들은 게시물을 열고, 읽고, 그것이 시간을 들일 가치가 있는지 결정합니다. 새로운 것은 없습니다. 우리는 아주 오랫동안 이 독자를 위해 글을 써왔습니다.
두 번째 독자는 최근에 나타났으며, 사람이 아닙니다. 바로 모델 (model)입니다. 모델은 당신의 텍스트를 읽고, 그것이 실제로 무엇에 관한 것인지 파악하며, 이를 노출할지 아니면 답변에 인용할지를 결정합니다. 이제 당신은 두 명 모두를 위해 글을 쓰고 있는 것입니다. 그들은 약간씩 다른 것을 원하지만, 당신이 두려워하는 것만큼 크게 다르지는 않습니다.
LinkedIn은 그들이 작동 방식을 공개했기 때문에 가장 쉬운 사례입니다. 그들의 engineering post는 콘텐츠가 선택되는 새로운 방식을 설명합니다. 기존의 분리된 파이프라인 더미 대신, 이제는 모든 게시물과 모든 프로필을 의미의 벡터 (vector of meaning)로 변환하는 LLM 리트리버 (LLM retriever)가 있으며, 그 의미들이 얼마나 가까운지에 따라 수백만 개 중에서 수천 개의 후보를 뽑아냅니다. 이것이 모델이 당신의 텍스트를 읽는 첫 번째 지점입니다. 무엇인가가 순위가 매겨지기 전에, 이미 당신이 무엇에 대해 썼는지 파악하는 단계가 진행된 것입니다.
여기 거의 모든 글이 틀린 부분이 있습니다. 검색 (retrieval)이 LLM에서 실행되는 것은 맞습니다. 하지만 해당 후보들의 최종 순위 결정 (ranking)은 언어 모델 (language model)에 의해 수행되지 않습니다. 그것은 Feed-SR이라고 불리는 별도의 트랜스포머 (transformer)입니다. 자체 논문에서 LinkedIn은 LLM 랭커 (LLM ranker)를 시도해 보았으나 출시하지 않기로 했다고 명확히 밝히고 있습니다. 트랜스포머가 더 높은 점수를 기록했고 실행 비용도 더 적게 들었기 때문입니다. 따라서 "피드(feed)가 이제 하나의 거대한 LLM이다"라는 말은 사실이 아닙니다. LLM은 당신의 텍스트가 고려될지 여부가 결정되는 바로 그 지점, 즉 의미 파악을 위한 읽기 단계에 위치합니다.
언급할 만한 주의 사항이 하나 있습니다. 온라인상에서 모든 이들이 이 시스템을 "360Brew"라고 부르며 그 정확한 규칙을 읊어대고 있습니다. 하지만 360Brew는 별도의 논문에 등장하는 프로덕션 이전 단계의 연구 모델이며, arXiv에 올라온 모든 버전은 철회(withdrawn)된 상태이고, LinkedIn은 이 모델이 피드(feed)를 구동한다는 사실을 결코 확인해주지 않았습니다. 그들의 자체 Feed-SR 논문은 이 이야기와 정면으로 배치됩니다. 과정 중 어디에선가 누군가가 실제 엔지니어링 논문에 매력적인 이름을 붙였고, 다른 모든 이들이 그것을 반복한 것입니다. 만약 소스가 엔진의 이름조차 제대로 파악하지 못한다면, 그들이 말하는 "정확한 규칙" 또한 추측으로 간주하십시오. 요약의 요약이 아닌, 1차 자료(primary source)를 읽으십시오.
이름은 중요한 부분이 아닙니다. 변화가 중요합니다. 과거의 피드는 키워드, 게시 초기 시간대, 좋아요를 주고받는 그룹(pods)과 같은 메커니즘을 통해 조작(gameable)할 수 있었습니다. 하지만 이제 문맥의 의미를 읽는 모델이 문 앞에 서 있으며, 카운터(counter)를 속였던 속임수로는 이 모델을 속일 수 없습니다. 이 모델은 마치 어시스턴트(assistant)가 당신이 던진 질문을 읽는 방식과 대략적으로 유사하게 읽습니다.
바로 이 지점에서 두 명의 독자가 놀라울 정도로 비슷해지기 시작합니다. 전문적인 질문에 대한 답을 찾는 어시스턴트와 당신의 게시물을 노출할지 결정하는 피드 검색기(feed retriever)는 동일한 작업을 수행하고 있습니다. 즉, 특정 대상에 대한 특정 관점이 있는지 확인하기 위해 텍스트를 읽는 것입니다. 첫 번째 독자에게 통하는 것이 두 번째 독자에게도 통합니다. 두 독자 모두 매끄럽기만 하고 알맹이 없는 글에서는 얻을 것이 별로 없습니다. 둘 다 무엇에 관한 글인지, 누구를 위한 글인지가 명확한 텍스트를 찾습니다.
이것이 알고리즘을 위해 글을 쓰기 시작해야 한다는 뜻은 아닙니다. 오히려 그 반대 방향을 가리킵니다. 과거에 기계를 위해 글을 쓴다는 것은 글을 더 못 쓰게 쓰는 것을 의미했습니다. 키워드를 나열하고, 길이를 채우기 위해 내용을 부풀리고, 해시태그 다섯 개를 붙이는 식이었죠. 이제 기계는 독자처럼 읽기 때문에, 기계를 위해 글을 쓴다는 것은 더 명확하게 글을 쓰는 것을 의미합니다. 알고리즘을 기쁘게 하려 하지 마십시오. 이해되려고 노력하십시오. 하나의 구체적인 논점이 모호한 열 가지 논점보다 낫습니다. 누군가 인용할 수 있는 예시 하나가 일반론적인 한 단락보다 낫습니다. 모든 사람에게 호소하려 애쓰는 것보다 당신을 특정 주제에 고정(pinned)시킬 수 있는 주제가 더 낫습니다.
하지만 한 가지 함정이 있습니다. "모델에게 인용되는 것"을 목표로 최적화하는 것은 위험한 길이며, 그 끝에는 제가 지난번에 제거하는 법을 배우느라 애를 먹었던 바로 그 AI 슬롭 (AI slop) — 즉, 아무런 내용도 담고 있지 않은, 자신만만하면서도 무게감 없는 산문 — 이 기다리고 있습니다. 아이러니하게도 문 앞에 서 있는 모델 또한 이를 좋아하지 않습니다. 모델은 사람이 하는 것만큼이나 구체적인 것과 매끄럽기만 한 빈 껍데기를 잘 구별해냅니다. 이를 너무 밀어붙이면 결국 그 누구를 위해서도 글을 쓰지 않게 됩니다. 두 독자 모두에게 통하는 유일한 방법은 말하고자 하는 구체적인 내용이 있는 것입니다.
LinkedIn은 이 시스템이 어떻게 작동하는지를 우연히 가장 먼저 보여주었습니다. 당신을 검색하고 인용하는 모든 것 — 검색 엔진, 어시스턴트 (assistants), 피드 (feeds) — 은 "얼마나 많은 신호 (signals)를 쌓았는가"에서 "이것이 실제로 무엇에 관한 것인가"로 동일한 방향으로 이동하고 있습니다. 2016년 당시에 사람들이 SEO (검색 엔진 최적화)라는 이름으로 묻어두었던 것들이 사라진 것이 아닙니다. 검색 엔진이 단순히 숫자를 세는 것을 멈추고 읽기 시작했을 뿐입니다.
그러니 그렇습니다, 이제 당신에게는 두 명의 독자가 있습니다. 하지만 정직하고 핵심을 짚으며 글을 쓴다면, 두 번째 독자는 추가적인 작업이 아닙니다. 그 독자는 첫 번째 독자가 원하는 것과 똑같은 것을 원합니다.
당신도 모델이 어떻게 읽을지를 한쪽 눈으로 살피며 글을 쓰고 있지는 않나요? 그로 인해 글이 더 좋아지나요, 아니면 더 나빠지나요?
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기