“AI가 이제 자체 추론 하드웨어를 개발할 수 있다”는 표현은 사실과 다름. 사람이 LLM에 지시해 하드웨어 설계용 시뮬레이션 환경을 만들었고, 그 안에서 다시 사람의 지시를 받은 LLM이 제약 조건에 맞춰 설계를 최적화한 것임.
비전문가도 이해할 수 있도록, 이게 사람이 직접 하는 것과 왜 그렇게 다른지 설명해 줄 수 있을까? 시뮬레이션과 하드웨어를 만들겠다는 자발적 의도는 없었어도, 실제로 만들기는 한 것 아닌가?
프롬프트가 주어지면 AI가 자체 추론 하드웨어를 개발할 수 있음. 사람이 시작시켰다는 사실은 AI가 작업을 독립적으로 수행한다는 사실과 크게 관계없음.
프롬프트는 실행 관리 프로그램이나 다른 LLM이 생성할 수도 있고, 종료 토큰을 없애 일단 시작한 AI가 하드웨어 고장 때까지 계속 작동하게 할 수도 있음. AI가 하는 모든 일을 프롬프트를 입력한 사람의 공으로 돌리는 유행이 무엇을 위한 것인지 모르겠음.
전기공학이나 기판 배치에 익숙하지 않은 사용자가 시키면, GPT-Sol-6:xhigh는 Altium으로 기판 배치를 다시 잡는 일조차 온갖 오류 없이 해내지 못함.
LLM이 다른 LLM에 프롬프트를 줄 수도 있지 않나? 기존 LLM 중 어느 것도 이 작성자만큼 효과적인 프롬프트를 만들 수 없다고 확신할 수 있을까? 비약이라는 데는 동의하지만, 처음부터 가능성을 배제하지는 않겠음. 아직 불가능하더라도 LLM이 곧 이 저장소를 학습하게 되면 달라지지 않을까?
그럴 수도 있지만, 프롬프트 작성에서도 인간의 우위가 불분명해지고 있음. LLM이 서로 반복해서 지시하게 만드는 건 어렵지 않음. 대부분 좋은 결과를 내지는 못하지만, 그것도 변하고 있음.
소프트웨어 개발자로서 기초적인 질문인데, 연구소들은 왜 벌써 최첨단 모델을 칩에 직접 구현하지 않는 걸까? 성능 향상과 요청당 비용 절감을 생각하면 해볼 만해 보임. 다만 그 경제성이나 물리적 난점은 잘 모름.
모델 발전 속도가 칩 설계·생산 속도보다 빠르기 때문임. 투자금을 회수하려면 특정 모델을 수년간 유지해야 하는데, 경쟁에서 밀리지 않으려면 새 최첨단 모델 개발에도 계속 막대한 돈을 쏟아부어야 함.
다들 GPU를 쓰는 이유도 여기에 있음. 새 모델이 이전 모델을 대체해도 메모리만 충분하면 칩이 쓸모없어지지 않음. 누군가 qwen 4.0 같은 모델을 “이 정도면 충분하다”고 정하고 주변기기 형태로 판매해 주길 기대함.
개발·생산 소요 시간이 길어서 출시할 때 이미 구식이 될 위험이 큼. 어떤 프로젝트든 반도체 생산 물량을 확보하기 어려운데, 이렇게 실험적인 시도라면 더 어려움.
실제로 그런 일을 하는 스타트업이 있음. Etched는 트랜스포머가 AI·LLM 연산의 지배적인 아키텍처로 남을 것에 베팅해 트랜스포머 전용 GPU, 사실상 일종의 ASIC을 만들었음. https://www.etched.com/를 참고하면 됨.
모델이 너무 빨리 발전해서 하드웨어로 만들기 어렵다는 답변이 많지만, 출시된 지 1년 넘은 모델도 OpenRouter에서 매달 수천억 토큰을 처리하고 있음. “이 정도면 충분한” 모델의 수요가 상당하다는 증거임.
Cerebras의 사업 자체가 오래된 모델을 고속으로 제공하는 것임. Opus 4.7을 초당 1만 5천 토큰으로 쓸 수 있다면 기꺼이 쓰겠음. 모델이 빠르게 발전하더라도 ASIC이 제공하는 초당 지능 처리량은 여전히 가치가 있음.
RTL의 부동소수점 연산을 살펴봤더니, LLM에는 정확한 부동소수점 연산이 필요 없다는 모양이어서 그대로 페이지를 닫았음.
결과를 깊이 살펴보지는 않았지만, 대략 12월부터는 최첨단 모델이 다른 모델을 실행할 수 있는 가속기를 만들어낼 수 있었을 것으로 추측함. 다음 단계는 최첨단 모델 자체를 실행할 메모리 처리량을 확보해 자기 하드웨어를 개발하게 하는 것임.
더 흥미로운 질문은 AI에 대형 FPGA를 주고, 재구성 가능한 회로 구조를 활용하는 모델 아키텍처를 설계하게 할 수 있느냐는 것임.
AI ASIC 전체를 담을 수 있는 단일 FPGA는 없음. 수십 개를 연결해야 하고, FPGA는 보통 목표 칩보다 훨씬 낮은 클럭으로 동작하며 메모리 문제도 있음.
기업들은 ASIC 설계·검증에 HAPs, Zebu, Palladium, 다수의 FPGA, 가상 플랫폼 등을 조합해 사용함. 따라서 AI가 칩을 설계하고 검증하려면 수천만 달러 규모의 하드웨어와 소프트웨어에 접근할 수 있어야 함.
AI가 특정 목적에 맞춘 FPGA형 대체 장치를 설계할 수 있을 것 같음. 해당 용도에서는 현재의 범용 FPGA보다 훨씬 효율적일 수 있음.
AI로 RISC-V CPU 코어를 개발한 뒤, 같은 기법으로 오픈소스 AI 추론 엔진인 openTPU를 개발했음. Qwen 3.5, Gemma 4 등 최신 모델 대부분을 실행할 수 있음.
처음에는 초당 몇 토큰만 생성했지만, 재귀적 자기 개선을 거쳐 작은 모델에서는 초당 80토큰 이상에 도달했음.
“재귀적 자기 개선이 인류를 몰살할 것”이라더니, 여기서는 재귀적 자기 개선을 열심히 활용하고 있음.
곧 토큰 제공 업체들이 “고문 장치는 경고를 위한 이야기”라고 해놓고, “드디어 우리가 경고했던 고문 장치를 만들었음!”고 발표하는 걸 보게 될 듯함.
기술은 언제나 다음 세대의 기술을 개선하는 데 기여해 왔음. 우려할 대상은 완전한 자율성을 갖췄을 때임.
결국 모두 같은 성능 정체 구간에 도달할 것임. 재귀적 자기 개선은 그곳으로 가는 과정의 한 단계일 뿐임.
숙련된 사용자가 LLM을 좋은 방향으로 이끄는 것만으로도 얻을 수 있는 게 많다고 느낌.
약 300달러짜리 FPGA 보드에서 실행되는 것 같은데, 하드웨어에 관해 더 아는 분이 있을까?
데이터센터에서 퇴역한 보드로, 취미 개발자들 사이에서 상당히 인기 있음. 추론용 TPU의 핵심은 메모리 대역폭임. 가능한 한 적은 논리 회로·면적·전력으로 가용 대역폭을 얼마나 끌어내느냐가 관건임.