실제 업무 환경에서 AI 에이전트 테스트: Ironclad 노트가 시사하는 바

OpenAI와 Ironclad가 계약 업무(contract work)에 AI 에이전트를 훈련하고 테스트하는 과정에 대한 내용입니다. 이것이 무엇을 의미하며, 제가 제 자신의 작업에 에이전트를 어떻게 테스트할지 설명합니다.

작성 배경 참고: 이 글은 AI 작문 도우미가 끝 부분의 출처를 바탕으로 초안을 작성했으며, 모든 주장은 발표되기 전에 해당 출처와 대조하여 확인되었습니다.

한눈에 보기

• OpenAI와 Ironclad는 복잡한 계약 업무 흐름(contracting workflows)에 AI 에이전트를 훈련하고 테스트한다고 밝혔습니다.
• 유용한 아이디어: 일반적인 벤치마크가 아닌, 실제 자신의 작업으로 에이전트를 테스트하는 것입니다.
• 구매하거나 구축하기 전에, 소수의 자신만의 과제에 실행해 보고 모든 단계를 점검해야 합니다.

무슨 일이 있었나

OpenAI는 "Ironclad를 활용한 컴퓨터 사용 발전(Advancing computer use with Ironclad)"이라는 제목의 게시물을 올렸습니다. 이 글에 따르면 OpenAI와 Ironclad가 복잡한 계약 업무 흐름에 AI 에이전트를 훈련하고 평가하고 있습니다.

그들이 제시하는 목표는 전문적인 작업을 위한 컴퓨터 사용을 발전시키는 것입니다. 이는 단순히 채팅 상자에서 질문에 답하는 것을 넘어, 실제 소프트웨어 단계를 거쳐 작동하는 에이전트라는 의미입니다.

제가 읽은 요약본은 세부 정보가 부족하여 결과에 대해 추측하지 않겠습니다. 눈에 띈 것은 "훈련(training)" 바로 옆에 붙은 "평가(evaluating)"라는 단어였습니다.

이것이 의미하는 것

제가 모델을 테스트할 때 가장 먼저 던지는 질문은 간단합니다. 무엇으로 테스트했는가? 일반적인 시험 점수는 자신의 작업에 대해 거의 알려주지 못합니다.

계약 업무가 좋은 예입니다. 여러 단계로 이루어져 있으며, 한 단계에서의 작은 실수도 큰 영향을 미칠 수 있습니다. 데모에서는 괜찮아 보이는 에이전트라도 중간 단계에서 실수를 할 수 있습니다.

따라서 이 아이디어는 비록 계약 업무와 관련이 없더라도 복사할 가치가 있습니다. 에이전트를 원하는 작업의 정확한 종류로 테스트하십시오. 그리고 최종 답변만으로 판단하지 말고, 단계를 하나하나 점검하여 판단해야 합니다.

직접 확인해 보기

실제 작업에 어떤 에이전트도 신뢰하기 전에 제가 할 일은 다음과 같습니다.

먼저, 자신의 한 주 동안 수행했던 실제 과제 중 소수의 세트를 고르십시오. 이미 정답을 알고 있는 과제를 사용하세요.

다음으로, 각 과제에 대해 신중한 사람이 취할 단계를 모두 적어보세요.

그런 다음 에이전트로 모든 과제를 실행하십시오. 최종 결과뿐만 아니라 각 단계에서 수행한 내용을 저장해야 합니다.

그 후에는 각 단계를 맞았는지 틀렸는지 표시하세요. 실패한 횟수를 세어보세요. 같은 단계가 반복적으로 실패하는 패턴이 있는지 찾아보세요.

마지막으로, 몇 가지 새로운 작업을 따로 보관하고 나중에 그것들로 테스트해 보세요. 만약 새로운 작업에서 성능이 떨어진다면, 첫 번째 테스트는 너무 쉬웠다는 의미입니다.

만약 공급업체가 귀하의 업무와 같은 종류의 작업에 대한 결과를 보여주지 못한다면, 그들에게 당신과 함께 이 작업을 실행하도록 요청하세요.

이것이 적용되는 곳

방금 언급한 마지막 단계는 제가 나중에 데이터로 알림 모델을 테스트하는 것에 대한 사례 연구에서 사용하는 아이디어와 같습니다. 모델은 구축된 데이터에서는 좋아 보일 수 있지만, 다음에 오는 작업에서는 성능이 떨어질 수 있습니다. 나중에 볼 수 없는 케이스로 확인하는 것이 제가 알아내는 방법입니다.

출처

• OpenAI: Ironclad를 사용한 컴퓨터 활용 능력 향상