어제 버전의 llama.cpp에서 14B 모델을 bartowski의 8비트 양자화로 실행했는데, 같은 문단의 변형을 5분 동안 반복하다가 턴 예산을 소진함. Gemma 4 12B 같은 비슷한 크기의 모델도 무리 없이 처리하는 웹 검색·데이터 요약 요청이었고, 이 정도 크기의 모델에 딱 맞는 작업이었음.
Qwen 3 기반이라 지원이 잘될 것으로 예상했지만, llama.cpp 업데이트가 필요할 수도 있음. 채팅 템플릿은 원본에서 제공하는 것을 그대로 썼으며, 이것이 맞는지는 확실하지 않음.
CSV로 달라고 했는데 추론 중에 데이터 제시 예시로 Markdown 표를 만들어서, CSV가 무엇인지 아는지도 의심스러움. 내가 써본 Qwen 미세조정 모델은 대부분 더 멍청해졌지만, 이 모델의 벤치마크 결과는 그렇지 않으니 llama.cpp 호환성 문제로 추정함.
추가로 BF16에서도 같은 반복 현상을 확인함. 양자화 문제는 아닌 듯하고, llama.cpp 업데이트를 기다려야 할 것 같음.
Qwen 3.8 27B에 적용되면 기대가 큼. 이 모델은 추론 출력에서 같은 내용을 되풀이하는 경향이 있는데, 이런 하이브리드 추론에서는 그 부분을 잠재 공간에 남겨둘 가능성이 더 높아 보임.
아예 텍스트 생성과 잠재 공간 추론을 동시에 수행하는 방식과 비교하면 어떨지 궁금함. 입력 임베딩의 폭을 넓혀 “Hybrid Link”를 거친 출력 잠재 벡터와 토큰 임베딩을 모두 담고, 텍스트 모드에서도 둘 다 전달할 수 있지 않을까?
텍스트를 생성할 때도 잠재 모드 모델을 실행하는 비용을 사실상 전부 지불하니, 그동안 잠재 공간에서도 추론하게 하면 어떨까? 벡터 폭을 넓히는 대신 두 벡터를 그냥 더해도 됨. 단순한 덧셈으로 벡터를 섞어도 다들 좋은 결과를 얻는 듯함.
왜 마지막 층에서만 되돌아가도록 했을까? 전체 128개 층 중 15번째 층에 있는데, 질문에 더 잘 답하기 위해 필요한 변환이 6번째 층에 있다고 모델이 판단할 수 있다면 어떨까?
Astra의 반복형 트랜스포머와는 어떻게 다른가? 그 아키텍처도 잠재 공간에서 추론함.
가중치가 공개되어 있고, 작동 방식을 설명하는 논문과 코드도 있음.
실제 성능은 어느 정도인가? 인간도 이유가 있어서 텍스트로 사고하는 것 아닐까? 확실하지는 않지만, 대부분 그렇지 않나?
상당수는 내적 독백 없이 사고하므로 그 전제는 틀림. 지금 컴퓨터 앞이 아니라 인지과학·심리학 논문을 찾아 제시하지는 못하지만, 언어는 사고 수단이 아니라 의사소통 수단으로 진화했으며 인간 사고의 대부분은 언어화되지 않음.
나도 내적 독백이 강한 편이라, 내적 독백이 없는 사람이 적지 않다는 사실을 알고 놀랐음.