AI 개발에서 시간을 낭비하는 가장 빠른 방법 중 하나는 시스템이 실제로 어디에서 실패하는지 이해하기 전에 최적화(Optimization)를 시도하는 것입니다.

팀들은 종종 다음과 같은 질문으로 바로 뛰어듭니다:

GPT-5.5를 사용해야 할까요, 아니면 다른 모델을 사용해야 할까요?
RAG (Retrieval-Augmented Generation)가 필요할까요?
미세 조정 (Fine-tuning)을 해야 할까요?
벡터 데이터베이스 (Vector Database)를 교체해야 할까요?

이것들은 중요한 질문들이지만, 여러분이 가장 먼저 답해야 할 질문인 경우는 드뭅니다.

더 나은 질문은 다음과 같습니다:

현재 시스템이 충분히 좋은지 어떻게 측정하고 있는가?

이 질문에 대한 답이 없다면, 모든 최적화는 추측에 불과하게 됩니다.

가장 흔한 AI 개발 실수

여러분이 AI 고객 지원 어시스턴트를 구축하고 있다고 가정해 봅시다.

몇몇 사용자들이 잘못된 답변에 대해 불만을 제기합니다.

한 개발자는 말합니다:

"모델을 미세 조정 (Fine-tune) 합시다."

다른 개발자는 말합니다:

"프롬프트 (Prompt)를 개선합시다."

또 다른 누군가는 RAG를 추가하자고 제안합니다.

누가 맞을까요?

솔직한 답변은 이렇습니다:

여러분은 아직 모릅니다.

여러분은 문제를 측정하지 않았기 때문입니다.

평가 세트 (Evaluation Set)로 시작하세요

프롬프트, 모델, 또는 아키텍처 (Architecture)를 변경하기 전에, 작은 평가 세트를 만드세요.

평가 세트란 단순히 예상 답변이 포함된 대표적인 질문들의 모음입니다.

예를 들어:

수천 개의 예시가 필요하지는 않습니다.

신중하게 선택된 30~100개의 테스트 케이스만으로도 그렇지 않으면 놓쳤을 패턴을 발견할 수 있습니다.

의견을 숫자로 바꾸세요

이제 여러분의 AI를 테스트하세요.

"프롬프트가 약한 것 같아요."라고 말하는 대신,

답변 정확도 (Answer accuracy): 91%
환각률 (Hallucination rate): 4%
정확한 문서 검색 (Correct document retrieved): 95%
필요한 형식 준수 (Required format followed): 98%

라고 말할 수 있습니다.

이 숫자들은 진짜 문제가 어디에 있는지 알려줍니다.

최적화하기 전에 진단하세요

실패의 유형에 따라 해결책이 다릅니다.

문제: AI가 회사의 최신 정책을 알지 못함.

해결책:

검색 증강 생성 (RAG, Retrieval-Augmented Generation)을 사용하세요.

모델은 지능이 부족한 것이 아니라, 최신 정보에 대한 접근 권한이 부족한 것입니다.

문제: 응답이 일관되지 않음.

해결책:

먼저 프롬프트 (Prompt)를 개선하세요.

더 나은 지침 (Instructions)은 재학습 (Retraining) 없이도 일관성 문제를 해결하는 경우가 많습니다.

문제: 좋은 프롬프트와 관련 문서가 있음에도 불구하고 모델이 전문 용어를 오해함.

해결책:

미세 조정 (Fine-tuning)이 도움이 될 수 있습니다.

이 단계가 바로 모델 자체를 변경하는 것이 의미가 있는 지점입니다.

실질적인 워크플로우 (Workflow)

최적화 (Optimization)로 바로 뛰어들기보다는, 다음 순서를 따르세요:

1. 평가 세트 (Evaluation set)를 구축합니다.
2. 현재 성능을 측정합니다.
3. 프롬프트를 개선합니다.
4. 모델에 외부 지식이 필요한 경우 RAG를 추가합니다.
5. 다시 측정합니다.
6. 결과가 여전히 요구 사항을 충족하지 못하는 경우에만 미세 조정 (Fine-tuning)을 고려합니다.

모든 변경 사항은 단순히 직관이 아닌, 평가 지표 (Evaluation metrics)를 개선해야 합니다.

실제 사례

학교 관리 어시스턴트를 구축한다고 가정해 봅시다.

학부모들은 다음과 같은 질문을 합니다:

• 수업료 납부
• 출석
• 학교 휴교일
• 시험 일정

AI가 때때로 오래된 답변을 제공합니다.

미세 조정 (Fine-tuning)을 해야 할까요?

아마 아닐 것입니다.

학교는 이러한 정책을 정기적으로 업데이트합니다.

대신 다음과 같이 하세요:

• 최신 문서를 벡터 데이터베이스 (Vector database)에 저장합니다.
• 관련 정보를 검색 (Retrieve)합니다.
• 프롬프트 엔지니어링 (Prompt engineering)을 사용하여 검색된 콘텐츠로만 답변하도록 합니다.

시스템을 다시 테스트합니다.

만약 평가 점수가 72%에서 95%로 향상되었다면, 모델을 재학습시키지 않고도 문제를 해결한 것입니다.

핵심 원칙

AI 개발은 가장 진보된 기술을 선택하는 것이 아닙니다.

병목 현상 (Bottleneck)을 식별하는 것입니다.

때로는 그것이 프롬프트일 수 있습니다.

때로는 지식의 부재일 수 있습니다.

때로는 모델 자체일 수 있습니다.

측정 (Measurement) 없이는 모든 최적화는 그저 가설일 뿐입니다.

측정이 있다면, 모든 최적화는 정보에 기반한 결정이 됩니다.

마치며

프롬프트 엔지니어링 (Prompt engineering), RAG, 또는 미세 조정 (Fine-tuning)이 필요한지 묻기 전에, 더 간단한 질문을 던지세요:

"이 변경 사항이 실제로 AI를 더 좋게 만들었는지 어떻게 알 수 있는가?"

이 질문에 답할 수 없다면, 아직 최적화를 할 준비가 되지 않은 것입니다.

최고의 AI 팀은 먼저 최적화하지 않습니다.

그들은 먼저 측정합니다.