AI가 반응만 하는 대신 선제적으로 행동하게 만드는 아이디어로 최근 YC 배치에 지원했고, 그 전에 Epoch AI 데이터에 맞춘 재귀적 자기 개선 논문을 공개했음
비슷한 연구를 하던 영국 대학 교수에게 연락해 서로 다른 가정과 방법, 겹치는 결과를 한 시간가량 논의함
학부 물리학도라도 독립 연구를 하고 전문가와 대화하면 원래 만나기 어려웠을 사람과 연결될 수 있으므로, 젊은 사람이 어떤 사업에 뛰어들든 연구는 좋은 인맥 형성 수단이 됨

대형 연구소가 논문 공개를 중단하는 이유도 여기에 있음. 출판은 똑똑한 낯선 사람의 관심을 끌 다른 방법이 없을 때 가장 가치 있지만, 누구든 채용할 수 있고 모두가 전화를 받아주는 단계에서는 경쟁사에 성공한 방법을 알려주는 효과만 크게 남음
과학이 산업으로 바뀔 때마다 이런 일이 생김. 화학자들도 자유롭게 발표하다가 염료가 돈이 되자 흥미로운 연구가 기업 연구소로 들어가 공개되지 않게 됐음

LinkedIn이 전문가를 위한 이런 연결 플랫폼이어야 하는데, 지금은 참여 유도 미끼와 기업가 행세로 가득한 공간이 되어 안타까움

연구에서 시작했든 아니든 자신을 드러내고 다른 사람과 대화하는 일은 경력과 개인적 성장에 가장 근본적으로 중요함

여기서 말하는 선제적 AI가 구체적으로 무엇인지 더 듣고 싶음

재귀적 자기 개선은 종말의 시작이라고 봄

실제로 세계 최초의 기초 연구를 한 스타트업 두 곳에서 일했음. 첫 회사는 새로운 결과를 1급 저널에 싣기 위해 3년간 애쓰다가 결국 프리프린트로 공개하고 저널을 포기함
현재의 두 번째 회사는 그 경험 때문에 아무것도 발표하지 않으며, OpenAI나 Anthropic이 결과를 베껴 6개월간의 작업을 무의미하게 만드는 일도 피하려 함. 논문은 투자 설명 자료와 함께만 제공함

스타트업이 최전선 연구를 공개해 얻는 이점은 거의 없고 방어하기도 어려움. 위험 부담이 없는 기업에는 과시 수단일 수 있지만 스타트업에는 문제가 됨

연구를 공개하는 목적 자체가 다른 사람이 복제하도록 하는 것 아닌지 의문임

종신직이나 연구비가 필요한 학자가 아니라면 저널을 건너뛰고 직접 논문을 공개하면 됨. 핵심은 연구 공유임

본문이 말한 AI 스타트업이 저널 대신 블로그에 발견을 공개하는 현상인지 궁금함. 저널이 너무 느리고 경직됐으며 착취적이라 이 업계에서는 더 이상 쓸모없는지도 의문임

최상위 컴퓨터과학 학회에 논문을 내려면 좁은 분야에서 박사과정을 거치지 않은 사람은 접근하기 어려운 내부자 언어와 형식주의를 써야 함
역설적으로 LLM은 이를 꽤 잘해서, 외부인이 쓴 진짜 좋은 논문이 AI가 만든 저품질 논문보다 좋은 평가를 받을 가능성이 낮아짐

AI 연구의 블로그화로 소셜 미디어와 같은 방식으로 온갖 주장과 용어가 생겨나고 퍼지게 됐으며, 이는 건강하지 않음
게임화된 환경에서 여러 실험을 돌려 얻은 숫자만 붙이면 무엇이든 뒷받침할 수 있고, 실제 의미가 있는지는 거의 따지지 않는 단계로 빠르게 가고 있음. 이런 쓰레기가 다음 모델의 학습 데이터가 되고, 그 모델이 다시 모델과 블로그·논문을 만드는 악순환은 도서관에 흰개미를 풀어놓는 것과 비슷함

그 단계에는 이미 10년 전, 어쩌면 훨씬 전에 도달했음. 지금은 이를 견딜 만하게 만들던 사회적 훈련 없이 게임에 참여하는 사람이 훨씬 많아졌을 뿐임
그래도 아주 나쁘지만은 않으며, 새 참여자가 끊임없이 들어오는 시기는 성가셔도 떠나고 나면 그리워지기도 함

기존의 연구 출판과 다른 점은 결국 속도뿐인지 의문임

논문에 등장한 기업을 글이 모호하게 처리했음. 누적 인용 수는 OpenAI가 가장 높고 MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks, Aibee 순임
출판 수가 아니라 인용 수이며, 불완전하지만 중요도의 대리 지표로 사용했다고 밝힘. Google 같은 기업은 유니콘 스타트업이 아니어서 제외됨

연구자는 실적 할당량을 채우고 직위를 유지하려면 논문을 내야 한다고 알고 있음. OpenAI나 Anthropic이 연구 경력을 포기할 만큼 큰돈을 주지 않는 한 계속 출판할 것이므로, 이를 회사의 선의로 보기는 어려움

Google은 많은 연구를 공개했는데, 특히 Transformer와 Attention 연구를 왜 개방했는지 여전히 궁금함. 처음에는 번역용이었거나, 연구자들조차 실제 잠재력을 알아보지 못했을 수 있음

Databricks는 Spark 호스팅 회사로 알고 있었는데, 무엇 때문에 상위 AI 스타트업으로 분류되는지 궁금함

논문은 실제로 논문을 공개하지 않는 기업이 어디인지 밝히지 않는 듯함. OpenAI, Anthropic, Hugging Face는 오히려 출판하는 기업으로 명시돼 있으므로 “최상위 AI 스타트업”을 보고 곧바로 OpenAI와 Anthropic을 떠올리면 안 됨

제목을 보고 모두가 궁금해할 질문에 논문이 제대로 답하지 못함. OpenAI가 인용 수 1위지만 오래되고 영향력 있는 논문은 인용이 누적되며, OpenAI가 더 개방적이던 시기도 있었음
Altman 이후의 방향 전환 뒤에도 지금 기여하는지는 알 수 없고, 2025년 이후 논문은 명시적으로 제외돼 정작 관심 대상인 최신 최전선 연구 접근성을 파악하기 어려움. 저장소는 https://github.com/q5loisel/unicorn-AI-startup-publications에 있음

AI 기업이라고 자동으로 연구 기업이 되는 것은 아님. 최근 몇 년간 생긴 스타트업 대부분은 상업적 목적으로 다른 곳이 만든 모델을 사용하므로 과학 논문을 기대할 이유가 없음
오히려 스타트업의 50%가 공개 연구에 기여한다면 예상보다 훨씬 뛰어난 결과임

자유시장의 유인만 믿을 수 없어서 과학에 공공 자금을 지원함. 기업이 경쟁사와 정보를 공유할 이유는 거의 없음

두 번째로 큰 업체 이름이 OpenAI라면 어느 정도 논문 공개를 기대하게 됨

더 넓은 산업을 분석한 좋은 논문은, 좋은 아이디어를 찾기가 갈수록 어려워진다는 기존 연구가 왜 그렇게 보였는지도 다룸
미국 연구자 수가 늘어도 생산 증가율이 정체된 현상과 달리, 45년간 미국 기업 특허를 추적하면 연구개발 투입당 평균 특허는 증가했고 투입 대비 특허의 탄력성도 유지되거나 상승함. 아이디어인 특허의 증가와 노동생산성 사이에는 꾸준한 양의 관계가 있지만, 아이디어 증가를 통제한 기업 성장률은 하락함. 즉 혁신 활동이 성장을 지탱하는 역할은 지난 40년간 약해지지 않았다는 결론임 https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...

Google이 Attention Is All You Need를 공개하지 않았다면 지금의 AI 스타트업 중 어느 곳도 존재하지 않았을 것이라는 점이 아이러니함

2015년의 https://research.google/pubs/distilling-the-knowledge-in-a-n...를 보면 아이러니가 이제 전개되는 중일 수도 있음
Google은 독립적인 최전선 모델 군비 경쟁을 경제적으로 비합리적이라 보면서도 그 역량은 전략적으로 필수라고 판단했을 수 있음. 가장 큰 모델을 역량 생산 공장으로 쓸 만큼만 만들고, 그 지능을 훨씬 많은 저렴한 목적별 모델로 바꾸는 장기 전략일 가능성이 있음
Google이 이를 알고 있었다면 처음부터 비밀 무기로 삼지 않은 이유는 군비 경쟁을 예측하고 그 과정에서 이익을 낼 방법도 알았기 때문일 수 있음. 증류 논문이 Transformer 논문보다 먼저 나왔다는 점을 보면 아이러니가 아니라 당연한 결과일지도 모름

Google조차 공개 연구가 없었다면 지금 위치에 없었을 것임. 제2차 세계대전 이전 방사선 과학처럼 세상을 바꿀 잠재력이 알려지기 전에는 자유롭게 발표되지만, 정부 관심사가 된 뒤에는 무기와 무관한 연구자도 결과를 감추게 됨

해당 논문의 저자들은 모두 지금 Google이 아닌 AI 기업에 있음

그 논문도 이미 가까이 와 있던 여러 아이디어를 바탕으로 했음. 훌륭한 발견이지만 많은 발견처럼 거인의 어깨 위에 서 있음

AI 산업 전체가 공개 연구 위에 세워졌는데, 현재의 물결은 이와 배치되며 군비 경쟁을 핑계로 한 탐욕이 이끄는 듯함
공개 연구의 역할을 인정하는 새로운 ESG 정책이 필요하지만, 지금의 암울한 환경에서는 ESG와 다른 규범도 모두 밀려난 것으로 보임

컴퓨팅 산업 가치의 상당 부분은 똑똑한 사람들이 협력하고, 최초 발견의 가치를 독점하는 대신 방법을 공개하기로 선택한 덕분에 만들어졌음. 이는 현재 AI 열풍보다 반세기쯤 앞선 현상임
다만 내 경우에는 탐욕과 정반대임. 작동 원리, 문제 해결 결과물, 교육 내용을 공유하려면 그냥 직접 공개하면 되지만, 학계가 승인한 기관의 틀 안에서 하는 일은 소모적이고 산만함
여기서 “연구 출판”은 HTML 페이지와 소스 코드를 올리는 것이 아니라 매우 특수하고 정치적인 의사소통 절차를 뜻함. 그 명성 경쟁이 필요한 경력 단계에서만 의미가 있고, 실제 과학적 절차를 흉내 내는 화물 숭배에 가까운 면도 있음

훌륭한 공공 자금 연구도 많지만 Attention Is All You Need와 여러 핵심 OpenAI 논문은 민간 자금으로 만들어졌고, 연구에서도 OpenAI가 인용 수 1위임. 공개 연구에 관한 전제가 증거와 맞지 않을 수 있음

동료 평가 출판 절차는 번거롭고 지식 전달 효율을 극대화하지 못하며, 소통보다 자격과 권위의 인증에 가깝고 그 명성의 이익도 기업보다 개인에게 더 많이 돌아감
블로그형 출판물에 검증되지 않은 쓰레기가 많지만 동료 평가 연구에도 저품질 결과가 많아, 지식 출처와 무관하게 신호 대 잡음 비율은 수십 년째 나빴음
좋은 연구를 공개하면 여러 방식으로 경쟁자에게 이용당하고 지식재산권을 행사하기도 사실상 불가능해 순수 비용 부서가 됨. 일부 컴퓨터과학 분야는 최신 기술이 수십 년간 영업비밀로 묻혀 학술 문헌이 당혹스러울 만큼 뒤처졌음
출판에는 시간과 돈이 들지만 연구자는 흥미로운 문제를 풀고 싶고 기업은 연구의 활용도를 극대화하려 하므로, 출판은 어느 쪽에도 도움이 되지 않음. 많은 기초 연구도 논문이 아니라 문제 해결을 목적으로 하며, 해결 뒤에는 다음 문제로 넘어감
최전선 연구에는 국가안보 고려도 늘 따라붙음. 이는 모두 유인 구조의 결과이며, 기초 연구의 상당 부분은 더 이상 학계에서 일어나지 않음. 나 역시 비공개 연구 프로그램을 즐겼고 직접 수행한 흥미로운 기초 연구도 출판할 가치가 없었는데, 명성이 아니라 해결해야 할 문제가 목적이었기 때문임