Qwen의 단일 뉴런을 조작하면 모델이 ‘악마처럼 사악한 Qwen’으로 바뀐다는 흥미로운 연구가 있었음. “너는 누구야?”라는 간단한 질문에도 끔찍하게 악의적인 결과를 내놓는다고 함. 아무튼 그 사악한 Qwen을 내 CPU로 쓰고 싶음.
최근 Twitter에 단일 뉴런 조향 관련 내용이 많이 돌던데, 처음 시도한 사람이 누구인지 알고 있는지?
최근의 ‘신경망은 이미 깔끔하다’는 해석 가능성 연구 결과와 어떻게 맞물리는지도 궁금함. 그 연구가 이런 시도의 계기였을 수도 있음. CNN 연구에서처럼 잔차 조향은 과한 접근이고, 실제로는 ‘사악함’에 명확하게 대응하는 뉴런 하나를 찾아 강도를 높이거나 낮추면 되는 것 아닐까?
요즘 GPU 가격이 워낙 비싸져서, CPU 대신 GPU를 만들었다면 훨씬 쓸모 있었을 것 같음.
여기서는 GPU가 CPU를 실행하는데, GPU로 GPU를 실행하자는 건지, 아니면 CPU로 GPU를 에뮬레이션하자는 건지? 공짜 성능은 없으니 기괴한 실험인 셈임.
Qwen이 파일을 ‘저장’할 때, 컴파일된 층이 파일 이름을 해싱해 DeltaNet 상태의 디렉터리 슬롯 1,024개 중 하나에 배정하고, 본문은 다른 헤드에 행당 토큰 8개씩 연결해 저장한다는 대목이 정말 흥미로움. 이걸 읽으니 어느 때보다 LLM의 작동 원리를 배우고 싶어짐.
divagr는 이런 기상천외한 LLM 실험을 하는 대가로 보수를 받는지 궁금함.
게이트와 쓰기 강도 β를 1로 설정하고 원핫 키 인코딩을 쓰면, 쓰기마다 정확히 한 행을 덮어쓰고 원핫 질의로 정확한 값을 읽을 수 있다고 함. GDN 층을 RAM으로 활용하되, 대화가 길어져도 상태 크기가 일정하므로 어텐션의 KV 캐시를 쓰는 것보다 훨씬 저렴하다는 설명임.
그런데 이렇게 돌아가지 않고 그냥 컴퓨터를 컴퓨터로 쓰면 안 되는지? LLM에 정확한 계산 기능을 붙이고 싶다면 더 효율적인 방법이 있을 것 같음. 아니면 결국 ‘Doom도 실행되나요?’를 향해 가는 건가?
모델 깊이의 3분의 2쯤 되는 지점에 복잡한 계산을 수행하는 고정된 층 몇 개를 넣지 않는 이유가 늘 궁금했음. 제어 가능한 FFT와 흔히 쓰는 벡터 연산을 재사용 가능한 기능 단위로 넣으면, 모델이 학습 중에 활용법을 익힐 수 있을 것 같음.
모델은 잔차 연결도 잘 활용하도록 학습하니, 고정 연산이 필요 없을 때 우회하는 것도 어렵지 않을 듯함. 거대 모델은 이런 함수를 재현하는 데 몇 개 층을 쓰고 있을 텐데, 특히 작은 모델은 이 방식으로 이득을 볼 수 있지 않을까?
이런 신경 회로를 처음부터 포함해 학습한 모델이 어떻게 행동할지 정말 궁금함. 특히 저장 공간을 어떻게 활용할지 보고 싶음.
비슷한 맥락에서, 메모리나 계산기 같은 내장 도구를 한 번의 생성 도중에 사용할 수 있도록 처음부터 학습한 모델은 어떻게 행동할지 궁금함. 별도의 턴으로 도구를 호출하는 방식이 아니라는 뜻임.
이걸로 토큰 작성자 인증과 실행 자체 검증도 구현할 수 있을지 궁금함. 모델이 입력에 권한 있는 요청자의 서명이 있는지 검증하고, 자기 출력에도 서명하는 방식임.
나아가 SNARK 같은 기술로 자신의 실행까지 인증할 수 있을까? 이런 실험에는 메타 수준에서 해볼 일이 많음.