LangSmith 미리 보기 빌드를 사용하여 에이전트 변경 사항 테스트하기

미리 보기 빌드(Preview Builds)는 병합(merging) 전에 에이전트 변경 사항을 더 쉽게 테스트할 수 있도록 하는 LangSmith 배포 기능입니다.

모든 풀 리퀘스트(pull request, PR)마다 새로운 배포를 생성하는 대신, PR 브랜치에서 임시적이고 프로덕션과 유사한 배포를 실행할 수 있습니다. 팀은 제안된 에이전트를 실행하고, 협업자와 공유하며, 동일한 환경에서 동작을 검사하고, 완료되면 해제할 수 있습니다.

풀 리퀘스트는 프롬프트(prompts), 도구(tools), 모델(models), 종속성(dependencies) 또는 통합(integrations)을 변경할 수 있습니다. 이러한 변경 사항의 영향은 에이전트가 실행될 때만 명확해지는 경우가 많습니다. 로컬 테스트는 개발 중에 도움이 되지만, 팀 전체에게 변화가 프로덕션에 도달하기 전에 동작을 검토할 일관된 장소를 제공하는 경우는 드뭅니다.

미리 보기 빌드는 각 PR에 에이전트를 위한 자체 스테이징 환경을 제공합니다. 팀은 CI/CD 워크플로우에 추가적인 배포 설정을 추가하지 않고도 LangSmith Deployment에서 병합 전에 변경 사항을 테스트할 수 있습니다.

배포된 환경에서 브랜치 테스트하기

풀 리퀘스트가 미리 보기 빌드를 트리거하면, LangSmith는 소스 브랜치를 격리된 환경에 배포하고 이를 부모 배포와 연결합니다. 이 미리 보기(preview)는 부모를 업데이트하지 않고 검토 중인 코드를 실행합니다.

이를 통해 팀은 전체 에이전트를 테스트할 수 있는 장소를 얻게 됩니다. 검토자는 프롬프트를 시도해 보고, 도구 호출을 연습하며, 트레이스(traces)를 검사하고, 구성된 종속성 및 서비스와 함께 에이전트가 어떻게 동작하는지 확인할 수 있습니다. 또한 코드 검토에서는 나타나지 않을 수 있는 실패 경로와 엣지 케이스(edge cases)도 테스트할 수 있습니다.

미리 보기 빌드는 배포로 실행되기 때문에, 협업자는 저장소를 클론하거나 개발자의 로컬 설정을 재현할 필요가 없습니다. 모두가 동일한 환경에서 에이전트의 동일한 버전을 검토합니다.

풀 리퀘스트와 미리 보기 동기화 유지하기

LangSmith는 풀 리퀘스트의 소스 브랜치에서 최신 커밋을 단명하는 미리 보기 배포에 빌드합니다. 누군가 해당 브랜치에 다른 커밋을 푸시하면, LangSmith는 자동으로 그 미리 보기 배포의 새로운 개정판(revision)을 생성합니다.

이는 검토 과정 전반에 걸쳐 미리 보기 기능을 유용하게 유지합니다. 개발자는 피드백에 대응하고, 업데이트를 푸시하며, 다른 환경을 만들거나 미완성된 작업을 병합할 필요 없이 협업자들에게 변경 사항을 다시 테스트하도록 요청할 수 있습니다. 풀 리퀘스트(pull request)는 코드 논의가 이루어지는 장소로 남아있고, 미리 보기 기능은 제안된 변경 사항의 실행 가능한 버전을 제공합니다.

팀은 풀 리퀘스트가 미리 보기 기능을 트리거하는 방식을 선택할 수 있습니다:

모든 PR(Every PR): 배포 브랜치에 열리는 모든 풀 리퀘스트마다 미리 보기 기능을 생성합니다.레이블 전용(Label only): 누군가가 구성된 GitHub 레이블을 추가한 후에만 미리 보기 기능을 생성합니다.

대부분의 변경 사항이 행동 검토가 필요한 경우, 모든 PR 방식이 잘 작동합니다. 레이블 전용 방식은 미리 보기 기능이 선택된 변경 사항에 대해서만 실행되어야 하는 경우 팀에게 더 많은 제어권을 제공합니다.

협업자들을 위한 공유 검토 환경 제공

에이전트 검토에는 코드를 작성한 팀 외부의 사람들이 참여하는 경우가 많습니다. 제품 관리자는 사용자 경험을 확인하고 싶어 할 수 있고, 도메인 전문가들은 용어나 정책 동작을 검증해야 할 수도 있으며, QA(품질 보증)는 알려진 실패 사례를 테스트하고 싶어 할 수 있습니다.

미리 보기 배포 기능은 이러한 협업자들에게 풀 리퀘스트와 연결된 공유 아티팩트를 제공합니다. 그들은 제안된 에이전트를 직접 테스트하고 변경 사항을 수정하기 쉬울 때 피드백을 남길 수 있습니다. 엔지니어들은 같은 미리 보기 기능을 사용하여 응답 뒤에 숨겨진 도구 호출(tool call)과 추적(trace)을 검사할 수도 있습니다.

팀은 또한 여러 개의 미리 보기 배포를 한 번에 실행할 수 있습니다. 개별 풀 리퀘스트는 격리된 상태로 유지되므로, 검토자들은 공유 스테이징 배포본을 브랜치 간에 이동하지 않고도 변경 사항들을 비교할 수 있습니다.

미리 보기 사용 및 정리 제어

미리 보기 빌드에는 임시 환경을 쉽게 관리하기 위한 컨트롤이 포함되어 있습니다:

유휴 TTL(Idle TTL): 미리 보기 기능이 마지막 개정판 이후 얼마나 오랫동안 비활성 상태로 남아있을 수 있는지를 설정합니다. LangSmith는 이 기간이 만료된 후 미리 보기 기능을 삭제합니다.최대 동시 미리 보기(Max concurrent previews): 부모 배포를 위해 동시에 실행될 수 있는 미리 보기 기능의 수를 제한합니다.- 팀은 언제든지 미리 보기 기능을 수동으로 삭제할 수 있습니다. 부모 배포를 삭제하면 그에 연결된 미리 보기 배포도 함께 삭제됩니다.

미리 보기 배포(Preview deployments)는 생성될 때 부모 배포(parent deployment)의 비밀값(secrets)을 복사하며, 사용자가 이를 재정의하지 않는 한 초기 설정이 유지됩니다. 민감한 서비스의 경우, 특히 외부 또는 신뢰도가 낮은 기여자(contributors)가 풀 리퀘스트(pull request)를 통해 미리 보기를 생성할 수 있는 경우라면, 프로덕션 환경용 대신 미리 보기 워크로드에 범위가 지정된 자격 증명(credentials)을 사용해야 합니다.

미리 보기 빌드 활성화하기 (Enable Preview Builds)

미리 보기 빌드는 LangSmith Cloud의 GitHub 통합을 통해 연결된 배포에서 Public Beta로 이용 가능합니다.

**배포 설정(Deployment Settings)**을 열고 **미리 보기 빌드(Preview Builds)**를 찾아 이 기능을 활성화하세요. 모든 PR(Every PR) 또는 레이블 전용(Label only) 중 하나를 선택하고, 유휴 TTL(idle TTL)과 동시성 제한(concurrency limit)을 구성한 다음 변경 사항을 저장합니다.

다음 적격 풀 리퀘스트는 해당 소스 브랜치로부터 미리 보기 배포를 생성할 것입니다. 이 배포를 변경 사항을 검토하는 사람들과 공유하고, 필요에 따라 업데이트를 푸시하며, 에이전트가 예상대로 작동하면 병합(merge)하세요.

LangSmith에 로그인하거나 가입하여 미리 보기 빌드를 사용해 보세요 | 문서를 읽어보기