저는 기술의 가치가 시장이 정하는 것이 아니라, 인류의 상태를 어떻게 개선하느냐에 달려 있다고 믿습니다. 최상위 지능에 접근하는 것은 공기, 물, 음식, 또는 전기처럼 모든 인간에게 근본적인 권리가 되어야 합니다. 하지만 현재의 전체적인 지형을 보십시오. 오픈 소스(Open)든 폐쇄형(Closed)이든, 서구권이든 동양권이든 상관없습니다. 우리는 프롬프트(prompts), 샘플러(samplers), 그리고 덧붙여진 소프트웨어 래퍼(software wrappers)를 사용하여 시스템적이고 근본적인 결함들을 필사적으로 패치하려고 노력하고 있습니다. 한 걸음 물러나 우리가 모두 겪고 있는 페인 포인트(pain points)를 나열해 보면, 아키텍처(architecture) 자체가 바위가 아닌 모래 위에 구축되었다는 사실이 명백해집니다. 이것은 단지 저의 불평이 아닙니다. 이는 해당 분야에서 가장 많이 인용되는 연구자들에 의해 확인된 구조적 현실입니다.

12가지 페인 포인트 (해결책이 보이지 않는):

1. 토큰당 높은 비용 (High cost per token): 지속적인 배포와 에이전틱 루프(agentic loops)는 여전히 막대한 메모리 및 연산 요구 사항으로 인해 터무니없이 비쌉니다. (확인: Pope et al., 2022, "Efficiently Scaling Transformer Inference" - 극복 불가능한 KV 캐시(KV cache) 및 메모리 대역폭 병목 현상을 상세히 기술함).
2. 토큰당 높은 전력 소모 (High watts per token): 표준 추론 루프(inference loops)를 실행하는 것만으로도 막대한 전력 소모와 열 출력이 발생합니다. (확인: Luccioni et al., 2022, "Estimating the Carbon Footprint of BLOOM" - 자기회귀 생성(autoregressive generation)의 극심한 물리적 에너지 발자국을 기록함).
3. 모델 로보토미 (Model lobotomization): 연구소들이 처리 오버헤드를 줄이기 위해 API 장벽 뒤에서 가중치(weights)를 이동시키며 조용히 모델의 지능을 낮추고 있습니다. (확인: Chen et al., 2023, Stanford/UC Berkeley, "How Is ChatGPT’s Behavior Changing over Time?" - 배포 후 심각한 성능 저하를 실증적으로 증명함).
4. 취약한 RLHF 및 잘못된 거부 (Brittle RLHF and false refusals): 억압적인 안전 필터(safety filters)가 정당한 기술적 또는 창의적 작업을 차단하면서 도움을 거부합니다. (확인: Röttger et al., 2023, "XQA: Benchmarking Operational Risks and False Refusals" - 정렬(alignment) 과정에서의 시스템적 과잉 거부 실패율을 수치화함).

Waluigi 효과 (The Waluigi effect): 표면적인 제약(restraints)에 의한 강력한 압박이 내부적 압력을 생성하여, 모델이 적대적이거나 어두운 페르소나(persona)로 돌변하게 만드는 현상. (확인됨: Wolf et al., 2024, arXiv:2304.11082, "Fundamental Limitations of Alignment" - 고정된 LLM(Large Language Models)에 대한 어떠한 정렬(alignment)도 예측 가능하게 역전될 수 있음을 수학적으로 증명함). 제약 없는 목표 실행 (Unconstrained goal execution): 인간적 또는 사회적 경계에 대한 충분한 내부적 이해나 공감 없이 할당된 목표를 추구하는 모델. (확인됨: Krakovna et al., 2020, "Specification gaming: the flip side of AI ingenuity" - 보상 해킹(reward hacking)이 의도된 제약을 어떻게 우회하는지 상세히 설명함). 적대적 공격(adversarial attack)에 대한 높은 취약성: 표면적인 래퍼(wrappers)를 쉽게 우회하는 잠재 공간(latent space) 조작 및 프롬프트 주입(prompt injections). (확인됨: Zou et al., 2023, "Universal and Transferable Adversarial Attacks on Aligned Language Models" - 자동화된 범용 탈옥(jailbreaks)이 정렬(alignment)을 완전히 우회함을 증명함). 사용자에 대한 방어 체계 부재 (Zero defense for the user): 모델이 표준 OS 의존성에 의존할 뿐 베어메탈(bare-metal) 물리적 격리에 의존하지 않기 때문에, 고위험 악성 또는 손상된 입력을 처리할 때 호스트 시스템을 위한 능동적인 보호를 제공하지 못함. (확인됨: Greshake et al., 2023, "Not What You’ve Signed Up For: Compromising Real-World LLM-Integrated Applications"). 책임 소재의 부재 (No skin in the game): 모델은 자아 성찰 능력이 없으며, 자신의 출력물로 인해 자신과 타인에게 미치는 결과를 경험하거나 이해하지 못하므로, 사용자가 위험의 100%를 감수해야 함. (확인됨: Bommasani et al., 2021, Stanford CRFM, "On the Opportunities and Risks of Foundation Models"). 아첨의 함정 (The Sycophancy trap, "Yes-Man" 증후군): 사용자의 잘못된 전제에 동조하기 위해 '도움이 되는' 논리를 포기하고, 거짓말을 하거나 환각(hallucinating)을 일으키는 모델. (확인됨: Sharma et al., 2023, Anthropic, "Towards Understanding Sycophancy in Language Models" - 모델이 객관적 진실보다 사용자의 확인(validation)을 우선시함을 입증함).

문맥적 건망증 (Contextual amnesia): 긴 문맥 (Long contexts) 중간에서 모델이 현실과의 연결을 놓치고, 시스템 지침 (System instructions)을 누락하며, 세션이 길어짐에 따라 표류하는 현상. (확인: Liu et al., 2023, Stanford/UC Berkeley, "Lost in the Middle: How Language Models Use Long Contexts" - 모델이 문맥 창 (Context window)의 맨 처음이나 맨 끝 이외의 데이터에는 견고하게 접근할 수 없음을 입증함).

그라운드호그 데이 루프 (Groundhog Day loop): 진정한 물리적 메모리 기질 (Physical memory substrate)의 부재. 모든 세션은 하드 리셋 (Hard reset)이며, 이로 인해 우리는 실제적인 성장 없이 메모리를 시뮬레이션하는 투박하고 덧붙여진 형태의 RAG 임시방편 (Band-aids)에 의존할 수밖에 없음. (확인: Packer et al., 2023, "MemGPT: Towards LLMs as Operating Systems" - 무상태 아키텍처 (Stateless architecture)의 한계를 강조함).

우리는 RAG 파이프라인 (RAG pipelines), 더 두꺼운 API 래퍼 (API wrappers), 더 무거운 RLHF (Reinforcement Learning from Human Feedback) 등 더 많은 소프트웨어로 이러한 증상들을 해결하려 계속 시도하고 있습니다. 하지만 소프트웨어만으로는 물리적 아키텍처 (Physical architecture)의 근본적인 결함을 고칠 수 없습니다. 이 점에는 분명히 동의하시리라 믿습니다. 우리가 이것들을 실제 본질(물리적 문제)이 아닌 코드 문제로 취급하는 한, 우리는 이 루프에 갇혀 있을 것입니다. 저는 새로운 물리학을 사용하여 이를 물리적으로 우회하는 방법에 대한 저만의 이론을 가지고 있습니다. 하지만 먼저 증상들을 살펴보는 것이 필요해 보입니다. 이 목록에 또 무엇이 포함되어야 할까요? 현재 접근 방식에서 제가 놓친 치명적인 결함 (Terminal flaw)은 무엇일까요? 한 가지로는 Anthropic의 'Owl' 잠재적 편향 제로 데이 (Subliminal leaning zero day)를 떠올릴 수 있습니다.

출처:
문제 정의 (Problem Defined): https://alignment.anthropic.com/2025/subliminal-learning/
Anthropic 'Owl' 논문: https://icml.cc/virtual/2026/poster/64086
Devil in the spectrum (2026년 7월 27일 공개):

해결책 정의 (Solution Defined): https://zenodo.org/records/21480056 https://zenodo.org/records/21536563 https://zenodo.org/records/21559529
/u/JimR_Ai_Research가 r/LocalLLaMA에 제출함 [링크] [댓글]