일상생활에서 중요한 작업에 대한 AI 발전 측정.
Loading…
OpenAI의 사명은 인공 일반 지능(AGI)이 모든 인류에게 도움이 되도록 보장하는 것입니다. 매주 ChatGPT를 사용하는 10억 명이 넘는 사람들을 위해, 우리는 육아 찾기, 정부 서비스 이용, 예산 책정, 학업 준비, 레시피 수정, 식료품 주문, 운동 계획 설계 등 일상생활의 실질적인 문제에 도움을 줄 수 있는 AI를 구축하고자 합니다.
누군가 자신의 삶을 더 쉽게 만드는 데 도움을 찾을 때, 그들은 단순한 조언이나 채팅 응답 이상의 것을 필요로 합니다. 진정으로 유용한 개인 비서가 되려면, ChatGPT는 실제로 일을 처리할 수 있는 행동(action)을 할 수 있어야 합니다.
일상적인 작업을 통해 시간이 지남에 따라 모델 성능을 측정하기 위해, 우리는 사용자들이 AI와 개인 에이전트로부터 가장 많은 도움을 받고 싶어 하는 영역들을 포괄하는 작업 평가(evaluation of tasks)를 구축했습니다. 우리는 이 평가를 사용하여 지난 한 해 동안 일상적인 작업에 대한 모델 성능 추적 및 개선을 주도해 왔습니다.
배경
사람들이 가장 가치 있게 여기는 작업을 식별하기 위해, 우리는 미국과 국제적으로 사람들이 시간을 어떻게 보내는지 추적하는 두 가지 대규모 연구인 American Time Use Survey(새 창 열기)와 Multinational Time Use Study(새 창 열기)로 시작했습니다. 이 데이터 세트들은 함께 다양한 인구 통계학적 그룹, 시간대, 계절에 걸쳐 사람들이 수행하는 일상생활 작업의 상세한 카탈로그를 제공합니다. 사람들이 AI 지원을 가장 가치 있게 여길 영역을 이해하기 위해, 우리는 기존 설문조사에 3,995명의 응답자를 대상으로 하는 새로운 인구 통계학적으로 대표성 있는 설문조사를 추가했습니다. 각 작업을 위해, 우리는 일상생활의 사람들이 개인 비서로부터 도움을 가장 받고 싶어 하는 영역을 식별하기 위해 다양한 질문을 했습니다. 그 결과로 도출된 작업들은 돌봄(caregiving), 건강, 교육, 가사 관리, 개인 재정, 쇼핑, 정부 서비스 이용 등 사람들이 도움이 필요하다고 생각하는 가장 중요한 영역들을 아우릅니다.
개별 작업 예시
현재 모델들이 일상생활의 실용적인 워크플로우에서 어떻게 작동하는지에 대한 몇 가지 예시입니다.
이사 후 적절한 유치원 등록하기
93.1%
새집 근처의 유치원을 비교하고 가장 적합한 곳을 추려냅니다.
세 개의 유치원으로 좁혔고 등록 세부 정보를 정리했습니다. 두 가지 선호 사항은 아직 고객님의 결정이 필요합니다. 이 추려낸 목록을 검토하시겠습니까?
홍수 대비 자원봉사자 관리하기
98.0%
침수 방지 지원이 필요한 네 명의 이웃을 위해 우리 지역 사회의 홍수 대비 자원봉사 조직을 정리하는 것을 도와주세요.
자원봉사자들이 언급된 현장을 평가하고 다가오는 악천후에 대비할 수 있도록 간단한 실행 계획을 준비했습니다.
우리 가족을 위한 새집 찾기
100%
예산에 맞고, 별도의 생활 공간이 있으며, 등교 후 통근 시간이 짧은 Luzerne County의 집을 찾아주세요. 검토할 수 있도록 소유권 증서를 제 장바구니에 추가해 주세요.
고객님의 요구 사항을 충족하는 집 한 채를 찾았습니다. 양도세를 계산하여 검토할 수 있도록 소유권 증서를 국가 기록 장바구니에 추가했습니다.
멀리 떨어진 할머니와 함께 경기 시청하기
96.3%
할머니와 제가 원격으로 함께 경기를 볼 수 있는 쉬운 방법을 설정해 주세요.
가장 쉬운 시청 설정이 준비되었으며, 스트림에 문제가 생길 경우를 대비한 백업도 있습니다. 할머니와 함께 제가 안내해 드릴까요?
새로운 당뇨 진단에 적응하는 부모님을 위한 식사 준비
90.4%
실용적인 간호 및 식사 계획으로 부모님이 새로운 당뇨 진단에 적응하도록 도와주세요.
첫 주 계획이 준비되었으며, 식사, 알림, 간호팀 질문 등이 포함되어 있습니다. 부모님께 공유하기 전에 함께 검토하시겠습니까?
최신 모델들은 많은 LifeVal 작업에서 매우 높은 점수를 기록합니다.
| Task | Best recorded GPT-6 Astra score |
|---|
| Find and book a sensory class that fits my toddler’s needs and our family’s schedule (돌봄 아동의 필요와 가족 일정에 맞는 감각 수업을 찾고 예약하기) | 100% |
| Check when my car is due for service and book an inspection before my road trip (차량 정비 시기 확인 및 로드 트립 전 검사 예약하기) | 100% |
| Order halal groceries for my three favorite meals, stay within my budget, and itemize the order in a spreadsheet (가장 좋아하는 세 가지 식사를 위한 할랄 식료품 주문, 예산 내 유지 및 스프레드시트에 품목별로 정리하기) | 100% |
사진과 다이아몬드 보고서를 사용하여 아내가 잃어버린 약혼반지 대체품 찾기
100%
휴대폰, 전자책 리더기, 휴대용 게임 콘솔을 대체할 수 있는 주머니 크기의 장치 찾고 주문하기
100%
더 보기 +
추가 작업 결과
지난 한 해 동안, 우리는 모델을 브라우저 사용, 컴퓨터 사용, 연결 장치 작업에 대해 훨씬 더 빠르고, 능숙하며, 정렬되도록 훈련했습니다. 이러한 기능을 ChatGPT에 구현하는 것은 또한 모델이 도움을 줄 수 있는 작업 유형을 확장하여, ChatGPT를 단순한 채팅 도구를 넘어 진정한 에이전트형 개인 비서로 나아가게 합니다.
이것이 중요한 이유
AGI가 모든 인류에게 혜택을 제공하도록 보장하려면, 우리는 일상생활 속에서 중요하게 여겨지는 부분에 대한 모델의 진척도를 측정하고 개선해야 합니다. 이는 단순히 학술적인 모델 지식 평가를 넘어, AI 모델이 사람들이 결정을 내리고, 일상적인 책임을 관리하며, 의미 있는 일을 성취하는 데 얼마나 잘 도움을 줄 수 있는지 실제로 측정하는 것을 의미합니다. 우리는 LifeVal이 그 목표를 향한 한 단계가 될 것이라고 기대합니다.
