Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 성능은 복잡한 어텐션 메커니즘보다 규모(Scale)에 의해 좌우된다는 관점을 제시합니다. 효율적인 국소/선형 어텐션 방식과 스케일링 법칙을 논하며, 인간 지능 역시 알고리즘적 영리함보다는 막대한 병렬 처리 능력과 메모리 대역폭에서 비롯될 수 있음을 비교 분석했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기더 자세히 알고 싶음. 길이가 약 30인 펩타이드 시퀀스를 다루면서 현재 어텐션 기반 방식을 쓰고 있는데, 어디서부터 살펴보면 좋을지 자료를 추천해 줄 수 있을까?
저자는 모델의 쌍 구성 연산을 (zt, zt+Delta)로 설명하며, Delta는 양의 오프셋이라고 함. 그렇다면 다음 토큰을 사용해 다음 토큰을 예측하는 셈임. (zt, zt-Delta)여야 하며, 그렇지 않다면 정답을 미리 보는 것임.
논문만 잘못된 건지, 코드도 망가진 건지는 모르겠음.
나는 다르게 읽었음. 본문에서는 t+Δ≤L을 만족하는 각 위치 t와 오프셋 Δ에 대해 (z_t, z_t+Δ)를 만들고, 하나의 t에서 최대 m개의 쌍을 구성한다고 함. 이를 여러 척도의 국소 이웃으로 취급하며, 오른쪽의 미래 위치와만 짝지으므로 왼쪽에서 오른쪽으로 진행하는 언어 모델링과 일치하는 인과적 쌍 구성이라고 설명함.
여기서 z_t는 입력 토큰이고 z_t+Δ는 그보다 뒤에 있는 토큰임. 표기를 (z_t-Δ, z_t)로 뒤집고 t+Δ>=0 조건을 붙일 수도 있었을 듯함.
“xyz is all you need”식 제목은 이제 정말 지겨움.
필요한 건 결국 규모임. 어텐션 없는 대형 언어 모델도 작동하는 이유가 여기에 있음. 다만 시간과 연산 자원이 제한된 현실에서는 아키텍처도 중요함. 비용이 내려가고 있더라도 규모 확장에는 비용이 들기 때문임.
필독할 만한 논문으로 “Scaling Laws for Neural Language Models”를 추천함. https://arxiv.org/html/2001.08361v1.
연산량, 데이터, 매개변수 수는 모델 성능과 로그 척도로 연관되는 세 가지 값임. 학습 효율을 높이면 같은 데이터와 매개변수 수로도 실질적으로 더 많은 연산을 활용해 더 똑똑한 모델을 학습시킬 수 있음. 개념적으로 단순한 예로 Gemma의 국소·전역 슬라이딩 윈도 어텐션이 있고, 최신 DeepSeek와 Kimi는 훨씬 정교한 방식을 사용함.
더 파고들고 싶다면 적은 코드로 GPT-2를 충실히 재현한 nanochat을 살펴보고, 코딩 에이전트로 아키텍처를 바꿔보길 권함. 오래된 8GB GPU나 Runpod에 쓸 몇 달러만 있어도 작은 언어 모델을 직접 사전학습하고 실험할 수 있음. 실험하며 배우기가 이렇게 쉽고 재미있던 적은 없었던 듯함.
Qwen 3.5는 계층의 75%가 선형 어텐션임. 대체로 선형 어텐션이면 충분하지만, 더 복잡한 장거리 관계를 처리하는 데는 일반 어텐션 계층 일부가 도움이 된다는 발상으로 보임.
트랜스포머에 연결을 계속 추가해 완전 연결 신경망으로 만들어도 작동은 하겠지만, 비용은 훨씬 커질 것임. 실제로 그럴지는 아직 모르지만 가능성은 매우 높아 보임.
뇌도 그저 규모로 밀어붙이는 것인지 궁금해짐. 신피질만 해도 매개변수 100조 개짜리 신경망에 비유할 수 있을 듯함. 이는 시냅스만 계산에 관여한다는 지나치게 환원적인 가정을 적용한 수치이며, 세포마다 자체 계산과 상태가 있다는 점까지 고려하면 10E 규모 모델에 가까울 수도 있음. 신피질은 뇌 전체의 일부에 불과함.
구조적으로 뇌는 느리지만 병렬성이 극도로 높고, 메모리가 계산부와 함께 배치돼 사실상 막대한 메모리 대역폭을 가진 기계로 볼 수 있음. 덕분에 모든 매개변수를 계속 평가할 수 있음.
뇌가 알고리즘적으로 대단히 영리한 무언가를 할 것이라고 자꾸 생각하지만, 꼭 그렇지는 않을 수도 있음. 자연도 쓰라린 교훈을 발견했을지 모름. 알고리즘은 비효율적이고 복잡해도, 그저 엄청난 규모로 작동하는 것일 수 있음.
“잠재의식적” 추론임.
전문가를 뛰어나게 만드는 것은 직관임. 모든 세부 사항에 주의를 기울여야 한다면 아무 일도 해내지 못할 것임. 주의는 자신의 모델이 어디서 작동하고 어디서 실패하는지 살피는 데 유용하지만, 한 가지에 집중하다가 뻔한 문제를 놓치기도 함.
인간의 직관은 신체를 통한 경험, 지각, 물리적·사회적 세계와 오랜 시간 상호작용한 경험에 기반함. AI가 학습한 패턴 인식과 어느 정도 비슷하지만 같은 과정은 아님.
지능에는 모든 것을 끊임없이 검토하는 능력보다 좋은 내부 모델, 그 모델이 실패할 때를 알아채는 능력, 어디를 살펴봐야 하는지 아는 능력이 더 중요할 수도 있음.
특정 알고리즘보다는 연산 자원 확보 경쟁이 훨씬 더 중요한 듯함.
지난번에 이걸 깨달았을 때는 쓰라린 교훈이라고 불렀음.
터무니없이 작은 장난감 문제에서만 아이디어를 검증했음. 오래된 데이터셋에서 매개변수 1,800만 개짜리 모델을 돌리고 이를 “중간 규모”라고 부르는데, 이걸로는 아무것도 입증할 수 없음. 형편없는 아이디어도 아주 작은 규모에서는 잘 작동하는 것처럼 보이기 쉬움.
트랜스포머의 가장 중요한 특성은 얼마든지 큰 모델을 쉽게 학습할 수 있게 했다는 점일 수 있음.
“어텐션은 이제 쓸모없음”과 “아무것도 입증하지 못함” 사이에 중간 지점이 있다고 봄.
아이디어는 흥미롭지만 LLM이 작성한 글처럼 읽힘. 글을 진지하게 검토하려면 인간이 공들인 흔적이 보여야 함. 설익은 아이디어가 넘쳐나는 상황에서 저자조차 제대로 전달할 노력을 들이지 않았다면, 지나가며 던진 말보다 더 진지하게 받아들일 이유가 없음.
주장을 뒷받침하는 그래프, 도식, 그림을 넣으면 그런 노력을 보여줄 수 있음. 측정 대상이 우리가 생각하는 것과 일치하는지 검증하지 않은 지표는 매우 오해하기 쉬움. 추세나 핵심 특성을 보여주는 그래프 없이 지표만 나열하면 전부 LLM 출력이라고 여기게 됨. LLM은 기본적으로 그래프를 그리지 않지만 인간은 대체로 반대이기 때문임. 정확도의 정의조차 없이 수치만 제시하는 등 완결성도 부족함. 어딘가에 정의가 있을지도 모르지만, 읽을수록 실제 인간의 검토를 전혀 거치지 않은 듯함. “Grassmann 혼합이 실제로 무엇을 얻어주는가?”라는 문구도 거슬림. Claude에게 답하자면, 개념 그 자체가 무언가를 얻어주지는 않음.
참신한 아이디어지만 널리 공개하기에 필요한 비판적 사고, 분석, 엄밀함이 부족함. 하루빨리 신뢰할 만한 연구로 다듬어야 함. 이런 저품질 결과물은 해당 분야에서의 평판을 심각하게 훼손할 것임.
농담처럼 들릴 수 있지만, 이 댓글도 LLM이 생성한 것처럼 보여서 전부 LLM 출력이라고 여기겠음.