스스로에게 좋은 일을 하세요!
요약
AI 엔지니어링의 성공적인 구현과 운영을 위한 실질적이고 포괄적인 체크리스트를 제시합니다. 에이전트 개발, 평가(evals), 배포, 모니터링 등 전 과정에 걸쳐 구체적인 기술 및 프로세스 개선 방안들을 안내하고 있습니다.
핵심 포인트
- 에이전트는 도구, 컨텍스트, 메모리, MCP 등을 활용하여 복잡한 워크플로우를 해결해야 합니다.
- 평가(evals)는 필수적이며, CI/CD 파이프라인에서 점수 하락 시 배포를 차단해야 합니다.
- 보안을 위해 모든 도구 호출은 샌드박스에서 실행하고 PII를 제거해야 합니다.
- 비용 추적은 토큰당이 아닌 작업당으로 하고, 폴백 모델 및 브라우저 폴백을 준비해야 합니다.
– AI 엔지니어링을 배우세요
– 고통스럽고 지루한 워크플로우 중 하나를 해결하는 에이전트를 만드세요
– 도구(tools), 컨텍스트(context), 메모리, 그리고 MCP를 제공하세요
– 프롬프트를 작성하기 전에 평가(evals)를 작성하세요
– 누구나 시도해 볼 수 있는 라이브 링크로 배포하세요
– 쉬운 요청은 작은 모델에, 어려운 요청은 추론 모델에 라우팅하세요
– 모든 실행에 토큰, 시간, 비용 예산을 설정하세요
– 반복되는 쿼리는 캐싱하여 거의 비용이 들지 않게 하세요
– 실패한 도구 호출은 블라인드 루프가 아닌 백오프(backoff)로 재시도하세요
– 모든 도구 출력을 엄격한 스키마에 따라 검증하세요
– 에이전트 단계가 재개 가능하도록 만들어 충돌 시 모든 것을 다시 시작하지 않게 하세요
– 모든 도구 호출을 최소 권한 접근(least-privilege access)을 가진 샌드박스에서 실행하세요
– 모델에 도달하기 전에 비밀 정보와 PII를 제거하세요
– 모든 웹 페이지와 문서를 가능한 프롬프트 인젝션으로 취급하세요
– 돈, 이메일 또는 삭제가 필요한 경우 인간의 승인을 요구하세요
– 모든 모델 호출, 도구 호출 및 결정을 추적(traces)하여 기록하세요
– 에이전트의 최종 답변뿐만 아니라 경로도 점수화하세요
– 실제 사용자 실패 사례로부터 황금 테스트 세트를 만드세요
– 평가 점수가 떨어질 때 CI에서 배포를 차단하세요
– 새로운 모델을 소량의 실제 트래픽에 대해 A/B 테스트 먼저 하세요
– 토큰당 비용이 아닌 작업당 비용을 추적하세요
– 사용자가 스피너(spinner)를 쳐다보지 않도록 응답을 스트리밍하세요
– 엄지손가락을 내린 모든 것을 새로운 평가 케이스로 바꾸세요
– 최고의 프로덕션 출력으로 작은 모델을 미세 조정(fine-tune)하세요
– 주 제공업체에 문제가 생겼을 때를 대비하여 폴백(fallback) 모델을 만드세요
– API가 없는 앱을 위한 브라우저 폴백을 만드세요
– 프롬프트를 코드처럼 버전 관리하세요
– 아키텍처를 5분 안에 설명하는 README를 작성하세요
– 작동하는 모습을 담은 60초짜리 데모를 녹화하세요
– 코드를 GitHub에 공유하고 이력서에 추가하세요
이 목록을 북마크하세요. 모두 만드세요.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: MCP의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기