인도어에 AI를 구축하는 숨겨진 비용

인도어(Indian languages)로 AI 시스템을 구축하는 데는 팀이 예상하는 것보다 더 많은 비용이 들며, 이는 눈에 띄는 방식에만 국한되지 않습니다. 최근 논문에 따르면, 인도어는 일반적인 토크나이저를 사용할 때 영어보다 4배에서 최대 13배 더 많은 토큰을 필요로 합니다. 이로 인해 컨텍스트 윈도우(context windows)가 줄어들고 배포 후에야 비용이 부풀려지는 방식으로 비용이 증가합니다. 새로운 토크나이저는 이러한 격차의 대부분을 해소했지만, 해결하기 어려운 문제는 여전히 남아 있습니다. 바로 인도어를 위한 평가 인프라(evaluation infrastructure)가 영어에 비해 부족하다는 점과, 실제 사용자들이 힌디어와 영어 사이를 전환하는 방식은 깨끗한 벤치마크(benchmarks)로는 결코 테스트할 수 없다는 것입니다. 이 글에서는 저희가 인도 시장의 클라이언트를 대상으로 AI 콘텐츠 및 자동화 시스템을 구축하면서 실제로 어떤 부분에서 문제가 발생했는지, 그리고 적절하게 예산을 책정하기 시작했을 때 무엇이 달라졌는지를 분석합니다.

Read All