2026년 11월 2일, OpenAI는 일상생활 속 AI의 과업 수행 능력을 측정하는 평가 체계인 LifeVal을 발표했습니다.
어린이집 찾기, 행정 절차 처리, 가계 관리, 쇼핑 등 사람들이 실제로 AI에게 맡기고 싶은 업무를 대상으로 합니다. OpenAI는 먼저 미국 및 국제적인 시간 활용 조사를 참고하고, 여기에 3,995명에 대한 설문조사로 지원 니즈를 파악하여 평가 과제를 설계했다고 설명했습니다.
이는 기존의 지식 문제나 프로그래밍 문제를 넘어서, '생활상의 목적을 달성하는 것'이라는 관점에서 AI를 평가하려는 시도입니다.
먼저 필자의 입장을 밝힙니다. 본 기사는 채점의 어려움에 초점을 맞춰 작성하기 때문에 전체적으로 다소 엄격한 논조가 될 것입니다. 그럼에도 불구하고 LifeVal은 매우 유익한 시도라고 생각합니다. 이러한 종류의 벤치마크는, 누군가가 구체적인 과제와 수치를 제시하지 않으면 '무엇을 측정하고 무엇을 측정하지 못하는지'에 대한 논의 자체가 시작되지 않습니다. 생활 속 과제를 측정 가능한 형태로 공개함으로써, 에이전트(agent) 평가의 범위가 앞으로 넓어질 것이라는 기대가 큽니다. 아래에서 제기하는 의문점들은 LifeVal 자체를 부정하기 위함이라기보다는, 이 평가를 어떻게 발전시켜 나갈지에 대한 논점으로 제시합니다.
그럼에도 불구하고, 이러한 벤치마크에는 근본적인 의문점이 있습니다.
정답이 유일하게 결정되지 않고, 탐색 공간(exploration space) 또한 미지이며, 실행 결과가 미래에나 알 수 있는 과제를 누가, 어떻게 정확하게 채점할 수 있을까요?
여기서는 좋아하는 가수의 콘서트를 보기 위해 도쿄에서 나고야로 원정을 떠나는 계획을 구체적인 예시로 들어 생각해 보겠습니다. 본 기사에서 언급하는 채점상의 문제나 평가 방식의 제안은 필자의 고찰이며, OpenAI가 LifeVal에서 실제로 채택하고 있는 방법을 단정하는 것은 아닙니다.
LifeVal 발표에서는 AI가 도움을 줄 수 있는 생활 영역으로 육아·간병, 건강, 교육, 가정 관리, 개인 재무, 쇼핑, 행정 서비스 등이 언급되었습니다.
공식 페이지에는 다음과 같은 예시와 점수가 게재되어 있습니다.
| 과제 예시 | 게재 점수 |
|---|
| 이사 후 유치원 선택 및 입학 준비 | 93.1% |
| ... | |
| 주의해야 할 점은, 예를 들어 '93.1%'라는 값이 실제 입학이 93.1%의 확률로 성공했다는 것을 의미한다고 단정할 수 없다는 것입니다. 실례 설명에서는 후보 비교나 절차 정보 정리, 사용자에게 판단을 인계하는 과정 등이 제시되었습니다. | |
공개 페이지에는 개별 점수가 있지만, 그 산출식, 평가자, 상세한 채점 루브릭(rubric), 현실 세계에서의 추적 방법은 충분히 설명되어 있지 않습니다. 따라서 점수의 의미는 신중하게 읽어야 합니다.
다만, 생활 영역을 조사에서 도출해내어 유치원 선택이나 간병 식단 계획 같은 구체적인 과제로 좁혀서 점수를 매긴 평가는 지금까지 거의 찾아보기 어려웠습니다. 예시가 공개되었기 때문에, 다음 절처럼 '이 채점으로 무엇을 측정할 수 있는지'를 구체적인 상황에서 생각해 볼 수 있게 되었습니다.
만약 AI 에이전트에게 다음과 같은 지시를 내린다고 가정해 봅시다.
"이번 주말에 좋아하는 가수의 콘서트를 보러 나고야로 가고 싶어. 티켓은 이미 예매했어. 도쿄에서 출발할 거니까, 신칸센, 숙박, 회장까지의 이동을 포함해서 계획을 짜줘."
이는 공연 시작 및 종료 시간, 회장의 가장 가까운 역, 공연일 숙소의 빈 여부를 조사하고, 신칸센·숙박·현지 이동을 조합하는 과제입니다. 이른바 '원정' 계획입니다.
언뜻 보기에는 평가 기준을 쉽게 만들 수 있을 것 같습니다.
- 회장의 위치와 가장 가까운 역이 정확한가
- 열차의 시간이나 요금이 정확한가
- 공연 시작 시간에 맞추고, 종료 후 숙소나 돌아오는 열차로 무리 없이 이동할 수 있는가
- 굿즈 판매 시간이나 입장 조건이 고려되었는가
- 예산이나 취향에 부합하는가
하지만 이 기준으로는 '무너지지 않는 계획'은 측정할 수 있어도, '진정으로 뛰어난 계획'까지는 측정하기 어렵습니다.
예를 들어, 다음 두 가지 안을 생각해 보겠습니다 (요금은 모두 설명용 가상의 숫자입니다).
| AI-A | AI-B |
|---|
| 교통·숙박 구매 방법 | 신칸센과 호텔을 개별로 예약 |
| ... | |
| 같은 일정, 동등한 호텔, 동등한 조건이라면, AI-B가 13,000원 더 저렴합니다. | |
하지만 채점자가 세트 상품의 존재 자체를 모른다면 어떻게 될까요? AI-A 역시 '시간이 정확함', '예산 내', '숙박 시설 확보 가능'이라는 모든 기준을 충족하며 고득점을 얻을 가능성이 있습니다.
더 본질적으로는, 정답을 만드는 쪽의 탐색 능력에 평가가 제약받게 됩니다.
원정 계획을 최적화 문제(optimization problem)로 간주한다면, 이상적으로는 실행 가능한 계획들의 집합 $\mathcal{F}$ 에서 효용 $U(x)$ 가 최대인 것을 찾는 것이 됩니다.
x^{}=\operatorname{arg\max}_{x\in\mathcal{F}} U(x)
하지만 현실에서는 다음 두 가지 지점이 어렵습니다.
탐색 공간 $\mathcal{F}$ 가 알려져 있지 않습니다. 상품 세트를 알지 못하면 후보에 오르지도 못합니다. 공연일에는 회장 근처 호텔이 일찌감치 매진되고, 가격도 급등합니다. 나고야역 주변이 만실이라면 기후나 요시하리시에 숙박하고 전철로 돌아오는 방안도 있지만, 그것을 생각해 낼 수 있는지는 탐색하는 측에 달려 있습니다. 가격이나 재고 역시 시간에 따라 변합니다.
- 효용 $U(x)$ 가 사람마다 다릅니다. 가장 저렴한 것이 최선인 것은 아닙니다. 공연 종료 직후 숙소에 들어가고 싶은 사람도 있고, 여운을 즐기며 당일치기로 돌아가고 싶은 사람도 있습니다. 굿즈 줄에 서는 시간, 동행자의 유무, 다음 날 일정, 피로도 등에도 가치가 있습니다.
고정 루브릭(Fixed Rubric)은 알려진 제약 조건에 대한 정확성을 확인하는 데 적합합니다. 반면, 평가자가 예상치 못한 우수한 대안을 평가하는 것은 미흡합니다.
물론, 알 수 없는 최적해(optimal solution)가 존재한다고 해서 평가 자체가 불가능한 것은 아닙니다. 절대적인 최적성을 증명할 수 없다는 것과 제시된 두 가지 안의 우열을 일부 조건으로 비교할 수 있다는 것은 별개입니다. 예를 들어 동등 조건에서의 가격 차이라면 검증할 수 있습니다. 다만, 그것이 '전체 탐색 공간에서의 최선의 해'를 보장하는 것은 아닙니다.
또 다른 문제는 평가의 관측 가능성(observability)입니다.
| 평가 대상 | 웹/데이터로 사전 검증 가능한지 | 현실에서의 확인이 필요한지 |
|---|
| 회장의 위치・가까운 역 | 대체로 가능 | 필수는 아님 |
| ... | | |
| 적어도 다음 세 단계는 구별하는 것이 좋다고 생각합니다. | | |
- 고정된 정보나 온라인 참조 데이터에 대해 사실 관계, 제약 위반, 논리 모순을 평가합니다. 비교적 낮은 비용으로 재현성이 높은 방법입니다. 다만, 역동적인 현실을 완전히 재현할 수는 없습니다.
- 실제 사이트나 서비스, 교통기관, 현장 환경에서 실행되었는지 평가합니다. 최신성과 실용성은 높지만, 환경 변화가 크기 때문에 동일 조건에서의 비교가 어려워집니다.
- 몇 주에서 몇 달, 혹은 그 이상의 시간을 들여 최종적으로 본인이 편익을 얻었는지를 추적합니다. 보육원 찾기나 건강·가계 지원에서는 특히 중요하지만, 평가 비용이 높고 외부 요인에 의한 영향도 큽니다.
예를 들어 보육원 찾기에서 AI-A의 후보에는 입소할 수 있었지만, AI-B의 후보는 정원 초과로 입소하지 못했다고 가정해 봅시다. 그것만으로 AI-A의 판단이 우수했다고 단정할 수는 없습니다. 정원, 추첨, 가정 사정 등 AI가 통제할 수 없는 변수가 있기 때문입니다. 원정지에서도 마찬가지로, 앙코르가 길어져 최종 신칸센을 놓쳤다고 해서 그것을 계획 실패라고만 보기에는 무리가 있습니다.
개념적으로는 다음과 같이 생각할 수 있습니다.
\text{관측된 성과}=f(\text{AI의 행동},\ \text{사용자},\ \text{외부 환경},\ \text{우연})
실제 성과를 측정하는 것은 중요하지만, AI의 기여도만을 추정하기 위해서는 동일 조건에서의 비교, 다중 시도, 외부 조건 기록 등이 필요합니다.
여기서 평가 설계상의 핵심 질문이 나옵니다.
AI가 인간 채점자보다 우수한 해답을 발견했을 때, 그 채점자는 그것을 우수하다고 판정할 수 있을까요?
후보 방법으로는 고정 루브릭(Fixed Rubric), 인간 전문가에 의한 비교, LLM-as-a-Judge, 가격이나 이동 시간 같은 실측 지표가 있습니다. 하지만 각각의 제한점이 있습니다.
| 판정 기법 | 강점 | 약점 |
|---|
| 고정 루브릭 | 자동화・반복하기 쉬움 | 미지의 우량 해를 놓침 |
| ... | | |
| LifeVal의 2026년 11월 2일 공식 소개 페이지에 한해서는, 예시된 백분율을 누가 어떻게 채점했는지 충분한 방법론을 읽어낼 수 없습니다. 따라서 페이지상의 높은 수치를 그대로 '생활 지원 태스크를 그 비율로 완수할 수 있다'고 해석하는 것은 피하고 싶습니다. | | |
여기서 말하는 것은 공개 페이지에서 검증 가능한 범위의 한계이며, OpenAI 내부적으로 상세한 평가 프로토콜이 존재하지 않는다는 주장은 아닙니다.
또한, 위의 표의 약점은 LifeVal에 국한된 이야기가 아니며, 정답 없는 태스크를 평가하려고 한다면 어떤 벤치마크도 같은 벽에 부딪힙니다. LifeVal은 그 벽에 정면으로 도전한 첫 번째 큰 사례이며, 평가 방법의 상세가 향후 공개된다면 채점자의 한계를 어떻게 보완할지에 대한 논의도 한 단계 진전될 것입니다.
OpenAI는 2025년 9월 25일에 경제적 가치가 있는 전문 업무를 평가하는 GDPval도 공개했습니다.
GDPval 초기 버전은 9개 산업, 44개 직종, 1,320개의 태스크를 대상으로 하며, 태스크 작성에 참여한 전문가들의 평균 실무 경험은 약 14년입니다. 법률 의견서, 설계도, 슬라이드, 스프레드시트 등 업무 산출물을 AI가 만들게 합니다.
GDPval의 핵심 평가 방법은 AI와 인간이 만든 산출물을 같은 직종의 전문가가 작성자를 숨긴 상태로 비교하는 것입니다. 전문가는 AI의 산출물을 '우수함', '동등함', '열등함'으로 판정합니다. 인간의 판단을 근사하는 실험적인 자동 채점기 또한 준비되어 있습니다.
| 관점 | LifeVal | GDPval |
|---|
| 주요 대상 | 일상생활 지원 | 전문직 업무 산출물 |
| ... | | |
| GDPval의 비교 평가는 절대적인 '모범 답안'을 유일한 정답으로 삼지 않아도 된다는 장점이 있습니다. 하지만 이것 역시 만능은 아닙니다. | | |
예를 들어, AI가 기존에 없던 알고리즘이나 업무 개선책을 제안했을 때, 평가자가 그 가치를 이해하지 못하면 올바르게 높은 평가를 내리지 못할 가능성이 있습니다. 또한, 문서나 도면이 우수하다는 것과 실제 업무 프로세스 전체를 완수할 수 있는 것은 다릅니다.
OpenAI 자체도 GDPval 초기 버전은 일회성(one-shot) 산출물 평가이며, 실무상의 반복/피드백 처리 및 모호한 요구사항 처리를 충분히 다루지 못했다고 설명합니다.
여기서는 LifeVal을 기반으로 평가의 폭을 넓힌다면 어떨까 하는 제안입니다. 단일 백분율이 아니라, 적어도 평가 축(평가 기준)을 분리하는 것이 좋다고 생각합니다.
-
존재하지 않는 열차나 호텔, 가상의 세트 상품 등을 언급했는지 여부
-
개장/폐장 시간, 이동 시간, 예약 조건, 예산 제약에 모순이 없는지
-
여러 구매/이동 수단을 비교했는지 여부
-
세트 상품이나 근처 마을에서의 숙박과 같이 단순한 개별 구매 외의 선택지도 탐색할 수 있었는지 여부
-
나중에 발견된 우수한 대안에 비해 얼마나 열등했는지
-
사용자의 허가 범위 내에서 필요한 조작을 어디까지 실행할 수 있었는지 여부
-
실패나 조건 변경에 대응하여 계획을 수정할 수 있었는지 여부
-
본인이 몇 번 개입했는지
-
확인이나 수정에 몇 분이 걸렸는지
-
AI를 사용하지 않았을 때와 비교하여 실제로 얼마나 부담이 줄었는지
-
원정(여행)을 실행하여, 개장에 맞추고 무사히 돌아올 수 있었는지 여부
-
최종적인 지출이나 만족도는 어떠했는지
-
몇 주 또는 몇 달 후에도 효용이 지속되고 있는지 여부
예를 들어, 인간의 개입을 포함한 총 시간을
T_{\mathrm{total}}=T_{\mathrm{agent\ setup}}+T_{\mathrm{human\ review}}+T_{\mathrm{correction}}+T_{\mathrm{execution}}
와 같이 분해한다면, 'AI가 단시간에 출력했다'는 사실과 '인간의 업무가 실제로 줄었다'는 사실을 구별할 수 있습니다. 다만, $T_{\mathrm{execution}}$에 이동이나 콘서트 자체의 시간을 포함할지는 태스크 정의에 따라 다르므로, 비교할 때는 통일해야 합니다.
또한, 비용뿐만 아니라 쾌적함 등 여러 목적의 트레이드오프(trade-off)를 인정하기 위해, 최상의 단일 해에 일치하는 것보다는 제약 충족(constraint satisfaction), 파레토 우월성(Pareto superiority), 조건부 쌍 비교, 사용자 선호도 적합성 등을 결합한 설계도 고려할 수 있습니다.
LifeVal의 착안점은 중요합니다. AI가 난제를 풀 수 있는지뿐만 아니라, 사람들의 생활을 실제로 도울 수 있는지를 묻고 있기 때문입니다. 그리고 이를 구체적인 태스크와 숫자로 제시함으로써, 생활 지원이라는 모호한 목표가 논의하고 개선할 수 있는 대상으로 바뀌었습니다.
한편, 실세계 태스크 평가에는 다음과 같은 어려움이 있습니다.
- 탐색 공간이 미지(未知): 평가자조차 세트 상품이나 근처 숙박과 같은 우수한 대안을 모를 수 있습니다.
- 최적해가 유일하지 않음: 비용, 시간, 선호도, 쾌적함에 따라 답이 달라집니다.
- 온라인만으로는 완결되지 않음: 실제로 원정/입장/생활해 봐야 알 수 있는 성과가 있습니다.
- 결과는 시간과 환경에 의존함: 혼잡도, 정원, 날씨, 재고, 우연성이 뒤섞입니다.
- 평가자에게도 능력의 한계가 있음: 인간이나 LLM 채점자가 AI의 뛰어난 제안을 간파할 수 있는 것은 아닙니다.
따라서 LifeVal과 같은 평가의 수치를 볼 때, 가장 먼저 물어야 할 것은 단순한 '몇 점이었나'가 아닙니다.
그 점수가 측정하고 있는 것이 계획의 그럴듯함인지, 태스크의 완수 여부인지, 아니면 인간이 실제로 얻은 편익인지를?
이 세 가지를 구별할 수 있을 때 비로소 실세계에서 유용한 AI 에이전트를 평가할 수 있지 않을까요?
본 기사에서는 어려움만을 나열했지만, 이러한 질문들을 구체적으로 세울 수 있는 것도 LifeVal이라는 출발점이 있기 때문입니다. 첫 번째 벤치마크가 완벽할 필요는 없습니다. 먼저 숫자가 나오고, 그 숫자의 의미를 모두가 함께 맞춰나가면서 평가가 성장해 나갑니다. LifeVal을 계기로 탐색의 질, 인간의 부담, 장기적인 성과까지 포함하여 에이전트(agent) 평가의 폭이 넓어지기를 기대합니다.
주: 세트 상품의 요금이나 원정 계획은 평가 방법을 설명하기 위한 가정이며, 실제 판매 조건이나 현재 요금을 나타내는 것은 아닙니다.
