2026년 4월, Agentforce 테스트 센터 (Test Center) 가 대폭 업데이트되었습니다.

Agentforce Studio로의 통합·대화 수준 테스트·커스텀 평가 지표·인라인 편집·ADLC Skills를 통한 CLI 통합 등, 기능이 한꺼번에 갖춰진 형태입니다.

"설정(Setup)에서 테스트 센터를 열어 CSV를 업로드하고……"라는 기존의 사용 방식 이미지를 가지고 계신 분들은, 지금 다시 확인해 보시면 완전히 다른 수준으로 진화했다는 것을 깨닫게 될 것입니다.

이 기사에서는 2026년 4월 시점의 최신 상태를 실제 조작 절차에 따라 정리합니다.

테스트 센터는 한마디로 Agentforce 에이전트의 일괄 테스트 실행 환경입니다.

하는 일은 간단합니다. "사용자가 이렇게 말하면, 이 토픽을 선택해서, 이 액션을 실행하고, 이런 응답을 할 것이다"라는 테스트 케이스를 대량으로 준비하여, 에이전트에게 한꺼번에 실행시켜 합격률을 확인합니다. 대화 프리뷰(Conversation Preview)에서 한 건씩 수동으로 확인하는 것이 아니라, 수십~수백 건을 병행 실행하여 품질의 전체상을 파악할 수 있습니다.

2024년 11월에 발표된 이후, Salesforce는 지속적으로 기능을 확충해 왔습니다. 2026년 4월 업데이트에서 특히 크게 변했기 때문에, "이전의 테스트 센터 사용법을 찾아봤지만 이미지와 다르다"라고 느끼는 분은 후술할 Studio 통합 부분부터 다시 읽어보시는 것이 좋습니다.

이전에는 테스트 센터로의 액세스가 "설정(Setup)" 화면 하위에 분리되어 있어, 에이전트를 만드는 화면과 왔다 갔다 하는 것이 조금 번거로웠습니다.

2026년 4월부터 테스트 센터는 Agentforce Studio의 탭으로 통합되었습니다. "에이전트 빌더(Agent Builder)", "Observability"와 나란히 "테스트(Test)" 탭이 표시되므로, 에이전트를 만든 바로 그 흐름에서 테스트에 들어갈 수 있습니다. 설정에서의 동선도 계속 남아 있으므로, 어느 쪽에서든 액세스 가능합니다.

또한 이번 업데이트로 실행 이력(Run History)을 볼 수 있게 되어, "지난주와 이번 주의 Pass율이 어떻게 변했는가"와 같은 시계열적인 품질 추이를 확인할 수 있습니다.

테스트 센터를 사용하기 전에 확인해 두어야 할 사항이 2가지 있습니다.

필요한 권한

• "AI 에이전트 관리(Manage AI Agents)" 권한
• 테스트 대상 에이전트 유형에 따른 권한
• 시스템 관리자 프로필

권한이 부족하면 "새 테스트(New Test)" 버튼이 표시되지 않거나, 눌러도 에러가 발생합니다.

대응 에디션

Enterprise / Performance / Unlimited / Developer Edition 중 하나가 필요하며, Lightning Experience만 대응합니다.

그리고 은근히 중요한 주의사항으로, 반드시 Sandbox 환경에서 테스트하십시오. 테스트를 실행하면 실제로 에이전트가 동작하며, 경우에 따라 CRM 데이터를 변경할 가능성이 있습니다. 운영(Production) 환경에서 테스트를 실행하는 것은 지양하는 것이 좋습니다.

설정을 통해 액세스하는 경우

Agentforce Studio를 통해 액세스하는 경우 (2026년 4월~)

"새 테스트(New Test)" 버튼을 클릭합니다.

다음 화면에서 테스트 이름을 입력하고, 테스트 대상 에이전트를 선택합니다.

설명란은 선택 사항이므로, 나중에 다시 보았을 때 알 수 있는 내용을 적어두면 좋습니다.

입력 후 "다음(Next)"을 클릭합니다.

대화 이력이나 컨텍스트 변수(Context Variables)를 포함할지 여부를 설정합니다.

대화 이력 (Conversation History)

2025년 11월 이후에 추가된 기능으로, CSV에 과거의 대화 이력을 JSON 형식으로 포함할 수 있습니다. "이전 턴에서 이름을 알려주었다는 전제로, 다음 턴을 테스트하고 싶다"와 같은 케이스에 사용합니다. 처음에는 꺼두어도 문제없습니다.

컨텍스트 변수 (Context Variables)

에이전트가 CRM 데이터를 참조하도록 설정한 경우, 테스트 시에도 변수에 값을 세팅할 수 있습니다. 레코드 ID 등을 삽입하여 테스트하고 싶다면 여기서 설정합니다.

설정이 끝나면 "다음(Next)".

여기가 가장 중요한 선택지입니다. 테스트 케이스를 준비하는 방법이 3가지 있습니다.

방법 A: CSV를 업로드하기

"테스트 케이스 업로드(Upload Test Cases)"를 선택하면 템플릿 CSV를 다운로드할 수 있습니다. CSV에는 다음 열(Column)이 있습니다.

열 이름	내용
Utterance	사용자의 발화 (테스트 입력)
...
최대 1,000개의 케이스를 업로드할 수 있습니다. 자사 특유의 말투나 과거에 문제가 되었던 발화를 등록하고 싶을 때 적합합니다.

주의할 점은, Expected 열이 공백이면 모두 Fail (불합격) 처리된다는 것입니다. "응답만 올바르면 된다"라고 생각하더라도, Utterance만 작성하고 Expected Response를 비워두면 탈락합니다. 반드시 기대값을 작성하거나, 평가가 필요 없는 열은 삭제하여 사용해 주세요.

방법 B: 토픽과 액션으로부터 AI 생성하기

"테스트 케이스 생성"을 선택하면, AI가 에이전트의 서브 에이전트 (Sub-agent) 구성과 액션 (Action) 정의를 읽고 테스트 케이스를 자동으로 생성합니다.

생성 건수 (기본 20건, 최대 1,000건)와 대상으로 할 토픽을 지정합니다. 설명은 임의로 추가할 수 있습니다.

방법 C: 지식 (Knowledge)으로부터 생성하기

동일한 화면에서 테스트 케이스의 소스로 "지식 (Knowledge)"를 선택하면, 에이전트가 참조하고 있는 지식 문서의 내용을 읽고 자주 묻는 질문 패턴을 자동으로 생성합니다.

지식 베이스 (Knowledge Base)의 답변 정확도를 검증하고 싶을 때 사용합니다.

어떤 지표로 평가할지 선택합니다. 표준으로는 다음의 3개 축을 사용할 수 있습니다.

표준 평가 (Default Evaluations)

지표	의미
Response Evaluation %	에이전트의 응답이 기대한 응답과 일치하는지를 평가하는 비율
...
2026년 4월부터는 **커스텀 평가 지표 (Custom Evaluation Metrics)**도 추가할 수 있습니다.

응답 품질 평가 (Response Quality Evaluations)

지표	의미
Completeness	응답에 필요한 정보가 모두 포함되어 있는지를 평가
...
자연어로 평가 기준을 정의하여 LLM이 채점하게 하는 구조입니다. 예를 들어 "에이전트 답변의 정중함을 0~5점으로 평가해줘"라는 기준을 만들면, 그것이 테스트 그리드 (Test Grid)의 열로 추가됩니다. 업종 특유의 품질 기준 ("제품명 표기 불일치가 없는가" 등)을 평가하고 싶을 때 유용합니다.

필요한 평가 지표를 선택하고 "다음"을 클릭합니다.

설정이 완료되면 "테스트 실행" 버튼을 클릭합니다.

테스트는 비동기적으로 병렬 실행됩니다. 대량의 케이스를 실행할 때는 완료까지 시간이 걸릴 수 있으므로, 다른 작업을 하면서 기다리는 것이 좋습니다.

실행이 완료되면 각 케이스의 합격 여부가 목록으로 표시됩니다.

처음 테스트를 실행했을 때, 제 환경에서는 Subagent Evaluation %가 60%대였습니다. "100%가 아니면 실운영에 투입할 수 없는 건가"라며 당황했지만, 사실 테스트 센터의 사용법으로서 100%를 목표로 하는 것이 정답은 아닙니다.

60%대의 케이스를 심층 분석하여 "어떤 발화가 탈락했는지"를 특정하고, 해당 토픽의 지시문 (Instruction)을 개선하여 재테스트하는 과정을 반복하는 것이 본래의 사용법입니다.

불합격 케이스를 클릭하면 에이전트가 실제로 어떤 Subagent를 선택했고, 어떤 Action을 실행했는지 상세히 확인할 수 있습니다. 기대값과의 차이를 알게 되었다면, Agentforce Builder로 돌아가 토픽의 지시 사항을 수정합니다.

3가지 지표는 각각 의미가 다르므로, 탈락한 지표에 따라 개선 접근 방식이 달라집니다.

Subagent Evaluation %가 낮은 경우

에이전트가 입력에 대해 어떤 토픽 (Subagent)을 선택할지 잘못 판단하고 있습니다. 토픽의 "설명문"이 모호하거나, 유사한 토픽이 여러 개 있어 판정이 흔들리는 경우가 많습니다. 각 토픽의 설명문에 "이 토픽은 XX 케이스에 사용한다. YY 케이스에는 사용하지 않는다"와 같이 의도적으로 제외 조건을 명시하면 개선되는 경우가 많습니다.

Action Evaluation %가 낮은 경우

토픽은 올바르게 선택되었으나, 그 안에서 어떤 액션을 실행할지가 기대값과 어긋나 있습니다. 액션 사용 조건에 대한 지시문을 재검토해야 할 타이밍입니다.

Response Evaluation %가 낮은 경우

응답의 내용이 기대값과 일치하지 않습니다. 이 지표만 낮다면 프롬프트 (Prompt)나 응답 생성 설정을 재검토하는 방향으로 가야 합니다.

지금까지의 테스트는 기본적으로 "1개 발화 $\rightarrow$ 1개 응답"의 단발성 테스트였습니다. 실제 사용자는 멀티턴 (Multi-turn), 즉 여러 번의 대화를 거쳐 목적을 달성하므로, 그 실제감을 반영하기에는 부족한 면이 있었습니다.

2026년 4월부터 추가된 **대화 수준 테스트 (Conversation-level testing)**에서는 페르소나를 지정하면 시스템이 해당 페르소나에 몰입하여 에이전트와 여러 차례 주고받는 대화 전체를 자동으로 생성하며, "사용자가 최종적으로 목적을 달성했는가"라는 태스크 해결 (task resolution) 지표로 스코어링합니다.

선택 가능한 페르소나 예시:

• frustrated customer (짜증 난 고객)
• non-native English speaker (영어 비원어민 화자)
• distracted user (주의가 산만한 사용자)

"불만을 제기하며 문의하는 고객이라도 제대로 해결할 수 있는가", "도중에 화제가 탈선해도 다시 목표로 돌아올 수 있는가"와 같이, 단발성 테스트로는 포착할 수 없는 품질 문제를 발견하는 데 적합합니다.

이 페르소나 자동 시뮬레이션은 AI가 대화 패턴을 생성해 주므로, 사람이 테스트 케이스를 처음부터 생각해야 하는 양이 대폭 줄어듭니다.

함정 1: Sandbox에서도 크레딧이 소비됨

"Sandbox니까 과금되지 않을 것"이라고 생각하는 사람이 많습니다. 테스트 센터에서 테스트를 실행하면 Flex Credits, 대화 크레딧(Conversation credits), Einstein 요청(Einstein requests)이 소비됩니다. 대량의 케이스를 반복해서 실행하면 크레딧이 예상외로 줄어들 수 있으므로, Digital Wallet에서 사용량을 모니터링하며 사용하는 것을 권장합니다.

저도 처음에 200건의 테스트를 5회 연속으로 실행했다가, 다음 주에 관리자로부터 "크레딧이 줄어들었다"는 연락을 받았습니다. 테스트 1회당 소비량을 파악한 후 계획적으로 사용하도록 합시다.

함정 2: Topic / Subagent 용어가 문서마다 혼재되어 있음

테스트 센터의 UI, Trailhead, Salesforce Help, 과거 해설 기사에서 "Topic"과 "Subagent"가 혼재되어 있습니다. 이는 현재 Salesforce가 용어를 전환하고 있는 과도기이기 때문이며, 둘 다 기본적으로 동일한 것을 가리킵니다. UI나 실행 결과 화면에서는 Subagent 표기, CSV 템플릿이나 일부 오래된 자료에서는 Topic 표기가 남아 있는 이중 구조로 이해해 두면 혼란을 줄일 수 있습니다.

함정 3: 테스트 합격률 100%를 너무 목표로 함

LLM의 응답은 변동성이 있으므로, 완전히 동일한 케이스라도 매번 Pass(통과)한다고 보장할 수 없습니다. 테스트 센터의 올바른 사용법은 "100%로 만드는 것"이 아니라 "불합격 케이스의 경향을 특정하여 개선을 반복하는 것"입니다. 어떤 Subagent의 합격률이 특히 낮은지 확인하고, 해당 지시문(Instruction)을 개선하는 방식이 실제 활용 목적에 부합합니다.

Agentforce 테스트 센터는 운영 환경에 공개하기 전, 에이전트의 품질을 수치로 확인하기 위한 실용적인 도구입니다.

특히 2026년 4월 업데이트를 통해 Agentforce Studio로의 통합, 대화 수준 테스트, 커스텀 평가 지표, 인라인 편집 기능 등이 한꺼번에 갖춰졌습니다. 이전에는 "CSV를 매번 다운로드하여 수정하고 다시 업로드하는" 작업이 필요했지만, 이제는 그리드 위에서 직접 편집할 수 있어 테스트 운영 비용이 대폭 낮아졌습니다.

우선 AI 생성으로 테스트 케이스를 20~30건 정도 만들어 실행해 보는 것부터 시작해 보세요. Pass(통과)율 수치보다 "어떤 케이스가 떨어지는가"의 경향을 파악하는 것이 에이전트 개선의 첫걸음이 됩니다.

• Agentforce 테스트 센터 - Salesforce Help (일본어)
• Agentforce Agent Testing - Trailhead
• AI Agents Are Advancing Rapidly… Is Your Testing Strategy Keeping Up? - Salesforce Blog

자격증 공부에 관한 정보를 발신하고 있습니다. 괜찮으시다면 note도 구경해 보세요.