초기 실패

원문은 AIdeazz에 게시되었습니다 — 정식 링크와 함께 이곳에 교차 게시되었습니다.

초기 실패

스페인어 학습을 위한 웹 앱을 만드는 데 6주를 보냈지만, 첫 세션 이후 리텐션 (Retention) 비율이 단 2%에 불과하다는 것을 확인했습니다. 기본적인 언어 모델 (Language Model)을 기반으로 한 앱의 대화 중심 접근 방식은 사용자의 참여를 유지하는 데 실패했습니다. 반면, 우리의 WhatsApp 기반 AI 언어 학습 프로토타입인 EspaLuz는 단 3명의 유료 사용자로 30%의 리텐션 (Retention) 비율을 달성했습니다. 그 차이는 유료 벡터 스토어 (Vector Store)에 의존하지 않고도 세션 간 대화의 연속성을 가능하게 하는 EspaLuz의 2계층 메모리 아키텍처 (Two-layer memory architecture)에 있었습니다.

2계층 메모리

EspaLuz는 사용자 상호작용을 저장하기 위해 단기 메모리 (Short-term memory)와 장기 메모리 (Long-term memory)의 조합을 사용합니다. 단순한 키-값 저장소 (Key-value store)를 사용하여 구현된 단기 메모리는 단일 대화 세션의 컨텍스트 (Context)를 유지합니다. 그래프 데이터베이스 (Graph database)를 기반으로 구축된 장기 메모리는 사용자의 선호도, 학습 진행 상황 및 대화 기록을 저장합니다. 이러한 2계층 접근 방식은 EspaLuz가 Faiss나 Pinecone과 같은 유료 벡터 스토어 (Vector Store)의 비용을 발생시키지 않으면서도 이전 대화를 회상하고 사용자의 학습 스타일에 적응할 수 있게 해줍니다. 우리의 실험 결과, 이 아키텍처는 단일 대형 벡터 스토어 (Vector Store)를 사용하는 것에 비해 메모리 비용을 75% 절감하는 것으로 나타났습니다.

대화의 연속성

세션 간의 대화 연속성을 달성하기 위해, EspaLuz는 각 에이전트 (Agent)가 사용자의 대화 상태를 나타내는 멀티 에이전트 시스템 (Multi-agent system)을 채택합니다. 사용자가 새로운 대화를 시작하면 해당 에이전트가 활성화되고, 단기 메모리 (Short-term memory)에 사용자의 이전 상호작용 데이터가 채워집니다. 이 접근 방식은 EspaLuz가 여러 세션이 지난 후에도 사용자가 중단했던 지점부터 다시 시작할 수 있게 합니다. 우리는 대화의 연속성을 경험한 사용자가 플랫폼으로 다시 돌아올 확률이 2.5배 더 높다는 것을 확인했습니다.

라우팅 및 인프라스트럭처

EspaLuz는 Oracle Cloud Infrastructure를 기반으로 구축되었으며, Groq의 라우팅 (Routing) 기능을 사용하여 여러 WhatsApp 에이전트 간의 대화를 관리합니다. 각 에이전트는 사용자 하위 집합을 처리하는 역할을 맡으며, Groq는 들어오는 메시지가 올바른 에이전트로 라우팅되도록 보장합니다. 또한 사용자의 대화 상태를 에이전트 간에 전송해야 하는 경우를 처리하기 위해 Claude의 라우팅 (Routing) 기능을 통합했습니다. 이러한 설정을 통해 대화의 연속성을 유지하면서도 대규모 사용자를 처리할 수 있도록 EspaLuz를 확장할 수 있습니다.

유료 사용자로부터 얻은 교훈

우리의 유료 사용자 3명은 100명의 무료 가입자로부터는 얻을 수 없었던 귀중한 교훈을 주었습니다. 우리는 사용자들이 개인화된 학습 경험을 위해 기꺼이 비용을 지불할 의사가 있지만, 플랫폼이 자신의 진도를 기억하고 학습 스타일에 맞춰 적응하기를 기대한다는 것을 배웠습니다. 또한 사용자들이 앱을 전환할 필요가 없는 WhatsApp을 언어 학습에 사용하는 편리함을 높게 평가한다는 점도 발견했습니다. 아마도 가장 중요한 점은, 작지만 헌신적인 사용자 기반이 대규모의 가벼운 사용자 기반보다 더 가치 있는 피드백을 제공할 수 있다는 사실을 발견한 것입니다. 예를 들어, 한 유료 사용자는 EspaLuz가 관용구 (Idiomatic expressions)를 올바르게 처리하지 못한다고 지적했고, 이는 우리가 언어 모델 (Language model)의 해당 사례 처리 능력을 개선하는 계기가 되었습니다.

기술적 트레이드오프 (Technical Tradeoffs)

EspaLuz를 구축하면서 우리는 몇 가지 기술적 트레이드오프 (Technical tradeoffs)를 결정했습니다. 장기 기억 (Long-term memory)을 위해 그래프 데이터베이스 (Graph database)를 사용하기로 선택했는데, 이는 아키텍처 (Architecture)의 복잡성을 더했지만 사용자 선호도와 대화 기록을 저장하는 데 필요한 유연성을 제공했습니다. 또한 Groq의 라우팅 (Routing) 기능을 사용하기로 결정했는데, 이는 시스템에 지연 시간 (Latency)을 추가했지만 대규모 사용자로 확장할 수 있게 해주었습니다. 이러한 트레이드오프 (Tradeoffs)를 통해 우리는 사용자들에게 독특한 학습 경험을 제공하는 견고하고 확장 가능한 플랫폼을 구축할 수 있었습니다.

자주 묻는 질문 (Frequently Asked Questions)

Q: EspaLuz를 구축할 때 WhatsApp API의 한계를 어떻게 처리했나요?
A: WhatsApp API가 제한적인 경우를 대비하여 Telegram API를 폴백 (fallback) 수단으로 사용했습니다. 예를 들어, 사용자의 대화 상태 (conversation state)를 에이전트 간에 전송해야 하는 경우에 Telegram API를 사용했습니다. 이를 통해 WhatsApp의 방대한 사용자 기반을 활용하면서도 더욱 견고한 플랫폼을 구축할 수 있었습니다.

Q: EspaLuz에는 어떤 언어 모델 (language model)을 사용했으며, 스페인어 학습을 위해 어떻게 미세 조정 (fine-tuning) 했나요?
A: BERT와 RoBERTa를 포함한 사전 학습된 언어 모델 (pre-trained language models)을 조합하여 사용하였으며, 스페인어 학습 자료 데이터셋을 통해 미세 조정 (fine-tuning)을 진행했습니다. 또한, 우리의 특정 사용 사례에 모델을 적응시키기 위해 지식 증류 (knowledge distillation)와 같은 기술도 사용했습니다.

Q: 대규모 사용자를 처리하기 위해 EspaLuz를 어떻게 확장할 계획이며, 어떤 인프라 업그레이드를 예상하고 있나요?
A: 더 많은 에이전트를 추가하고 Oracle Cloud Infrastructure의 오토스케일링 (auto-scaling) 기능을 사용하여 EspaLuz를 확장할 계획입니다. 증가하는 트래픽과 사용자 참여를 처리하기 위해 더 강력한 인스턴스 (instances)를 추가하고 데이터베이스 구성 (database configuration)을 최적화하는 등 인프라를 업그레이드할 것으로 예상합니다.

Q: EspaLuz의 효과를 측정하기 위해 어떤 지표를 사용하며, 시간이 지남에 따라 플랫폼을 어떻게 개선할 계획인가요?
A: EspaLuz의 효과를 측정하기 위해 사용자 유지율 (user retention), 대화 참여도 (conversation engagement), 학습 진도 (learning progress)와 같은 지표를 사용합니다. 사용자 피드백을 반영하고, 음성 인식 (speech recognition) 및 발음 분석 (pronunciation analysis)과 같은 새로운 기능을 추가하며, 언어 모델을 지속적으로 미세 조정 (fine-tuning)함으로써 플랫폼을 개선할 계획입니다.

Q: EspaLuz에서 사용자 데이터 프라이버시(privacy)와 보안(security)을 어떻게 처리하며, 사용자 대화를 보호하기 위해 어떤 조치를 취하고 있습니까?

A: 저희는 사용자 데이터 프라이버시와 보안을 매우 중요하게 생각하며, 사용자 대화를 보호하기 위해 종단간 암호화 (end-to-end encryption)를 사용합니다. 또한 GDPR 및 CCPA를 포함한 관련 데이터 보호 규정을 준수하며, 사용자에게 자신의 데이터에 대한 명확한 제어 권한을 제공합니다.

— Elena Revicheva · AIdeazz · Portfolio