AI 생성 코드가 우아하게 실패하도록 만드는 방법
요약
LLM이 생성한 코드가 실행될 때 발생하는 오류를 사용자에게 친절하게 전달하는 방법을 다룹니다. 기술적인 트레이스백 대신 비개발자 사용자를 위한 검증 메시지 설계의 중요성을 강조합니다.
핵심 포인트
- LLM 생성 코드는 메서드 명칭 오류 등 빈번한 실패를 동반함
- 비개발자 사용자에게 가공되지 않은 트레이스백 노출은 지양해야 함
- 실행 오류와 샌드박스 규칙 위반을 구분하여 대응 필요
AI 생성 코드가 우아하게 실패하도록 만드는 방법
만약 당신의 앱이 LLM(대규모 언어 모델)으로 코드를 생성하고 이를 실행한다면, 당신은 이미 추악한 비밀을 알고 있을 것입니다. 바로 코드가 아주 자주 실패한다는 사실입니다. 치명적인 수준은 아닙니다. 그저 잘못된 메서드(method) 이름, 상태(state)에 대한 잘못된 가정, 혹은 오프 바이 원(off-by-one) 오류 같은 것들입니다. 사람이 10초면 고칠 수 있는 종류의 오류들 말이죠.
문제는 그런 일이 발생했을 때 사용자가 무엇을 보게 되느냐 하는 것입니다.
문제점
제 앱의 버전 1에서는 생성된 스크립트가 실패했을 때 사용자에게 가공되지 않은 Python 트레이스백(traceback)을 그대로 보여주었습니다. 다음과 같은 식이었죠:
스크립트 실행 실패:
Traceback (most recent call last):
File "", line 3, in
items = timeline.GetItemsInTrack("video", 1)
AttributeError: 'Timeline' object has no attribute 'GetItemsInTrack'
LLM이 메서드 이름을 잘못 지정한 것이었습니다. 'GetItemsInTrack'이 아니라 'GetItemListInTrack'이 맞았습니다. 간단한 수정 사항이었죠. 하지만 제 사용자들은 Python 개발자가 아니라 영상 편집자들입니다. 그들에게 저 트레이스백은
친절한 검증 메시지 (Friendly Validation Messages)
모든 실패가 실행 오류(execution errors)인 것은 아닙니다. 어떤 스크립트들은 샌드박스 규칙을 위반하기 때문에 실행되기도 전에 거부됩니다 (제 앱은 생성된 코드를 제한된 환경에서 실행합니다).
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기