저는 AI 모델을 훈련시키는 회사들을 주시하고 있습니다. 지난 1년 정도 동안 최고의 AI 훈련/데이터 주석 작업 애그리게이터를 만드는 데 시간을 보냈으며, 자연스러운 다음 단계는 기업용 데이터 라이선싱으로 확장하는 것이었습니다.
데이터 연구소(Data labs)들 역시 비공개 코드를 라이선스화하는 데 관심을 가지고 있으며, 일부는 토큰당 지불하는 비용을 공개합니다. 여기에는 소스 코드에 대한 요율과 Git 히스토리에 대한 더 낮은 요율이 있습니다. 이를 통해 저는 계산기를 만들 충분한 정보를 얻었고, 그 계산기는 두 개의 웹사이트로 발전했습니다.
Githubworth.com은 GitHub 프로필의 리포지토리가 AI 기업에게 얼마에 팔릴 수 있는지 추정합니다. 이는 회사들이 운영 데이터를 데이터 연구소에 라이선싱하고 코딩 번들을 제공하는 데 도움을 주는 Dataconto에서 파생된 유틸리티 도구입니다. 이 사이트는 어떤 AI 기업이 코드나 이메일, 채팅, 티켓 및 문서와 같은 회사 기록을 구매하는지, 그리고 얼마를 요구하는지를 보여줍니다.
두 웹사이트 모두 동일한 가격 패키지를 사용하며 Cloudflare의 무료 등급(free tier)에서 실행됩니다.
가격 계산 방법
리포지토리의 추정 가치는 다음과 같습니다:
소스 토큰 × $100 / 1M + 히스토리 토큰 × $40 / 1M
이것들은 비독점 라이선스를 위한 공개된 토큰당 요율입니다. 방법론 페이지에는 출처가 연결되어 있으며 각 요율을 마지막으로 확인한 시점이 기록되어 있습니다.
카운터는 구매자들이 사용하는 공개 규칙을 따릅니다:
코드 파일은 전체로 계산됩니다.
문서, 설정 및 데이터는 코드 크기의 최대 10배까지 계산됩니다.
번들링된 폴더(Vendored folders), 번들(bundles) 및 난독화된 파일(minified files)은 건너뜁니다.
토큰은 바이트를 4로 나눈 값으로 추정됩니다.
카운터는 브라우저에서 실행되므로, 여기에 드롭하는 폴더는 사용자의 장치에 남아 있습니다.
Git 히스토리 추정하기
GitHub는 리포지토리의 언어와 커밋 횟수는 보여주지만, 히스토리에 포함된 토큰 수는 알려주지 않습니다. 이를 추정하기 위해 저는 18개 언어에 걸쳐 532개의 공개 리포지토리를 클론하고, 동일한 카운터를 사용하여 전체 히스토리를 계산했으며, 이 공식을 도출했습니다:
history ≈ 45 × source^0.48 × commits^0.88
발견 사항 (Findings)
히스토리(history)는 커밋 수(commits)와 거의 1:1에 비례하며, 소스 크기(source size)의 제곱근과 대략적으로 비례합니다. 이는 Git이 변경 사항을 저장하는 방식과 일치하는데, 각 커밋은 수정된 파일의 새로운 복사본을 기록하기 때문입니다.
소스 크기와 커밋 수를 포함하자, 레포지토리(repo) 연령, 기여자 수(contributor count), 레포지토리 크기는 추정치를 개선하지 못했습니다. 중앙값 레포의 경우, 히스토리가 추정 가치의 80%를 차지했습니다.
추정치는 약 1.8배 정도 오차가 있을 수 있으므로 사이트에서는 범위를 보여줍니다. 낮은 끝은 추정 히스토리의 0.27배이며, 높은 끝은 3.8배입니다. 이 범위는 레포지토리의 77%에 대해 계산된 값을 포괄했습니다.
커밋 수가 10개 이하인 레포가 추정하기 가장 어렵습니다. 이 경우 사이트에서는 범위만 보여줍니다.
또한 샘플에 포함되지 않은 5개의 트렌딩 레포를 테스트했습니다. ComfyUI는 추정치 $7,448을 기록했으며, 계산된 값은 $7,112였습니다. 모든 다섯 가지 결과가 해당 범위 내에 있었습니다.
제한 사항 (Limitations)
이 추정치는 소수의 공개된 비율(rate)에 의존합니다. 대부분의 회사는 각 코드베이스를 검토하고 비율을 공개하지 않고 개별적으로 가격을 책정합니다. 따라서 공식에는 포함되지 않습니다.
다른 두 가지 중요한 제한 사항이 있습니다:
- 구매자는 지불하기 전에 코드를 검토하므로, 이것은 제안(offer)이 아닌 목록 가격 추정치입니다.
- 아무도 공개 레포를 라이선싱하지 않습니다. 공개 프로필의 경우, 이 수치는 해당 양의 코드와 히스토리가 비공개였다면 얼마로 책정될 수 있는지를 보여줍니다.