맥락적 다목적 최적화: 프론티어 AI 시스템의 목표 재고

프론티어 AI 시스템은 명확하고 안정적이고 검증 가능한 목표가 있는 환경에서 가장 잘 작동합니다. 코드 생성, 수학적 추론, 게임, 단위 테스트 기반 작업과 같은 경우입니다. 반면, 과학적 지원, 장기 지평 에이전트, 고위험 조언, 개인화, 도구 사용과 같이 관련 목표가 모호하거나 맥락에 의존적이거나 지연되거나 부분적으로 관측 가능한 개방형 환경에서는 신뢰성이 낮습니다. 우리는 이러한 많은 실패들이 규모나 능력의 실패뿐만 아니라 목표 선택의 실패임을 주장합니다: 시스템은 상호작용을 지배해야 할 목표를 놓치고 지역적으로 보이는 신호를 최적화합니다. 이 문제를 ‘맥락적 다목적 최적화’로 형식화합니다. 이 설정에서 시스템은 유용성, 진실성, 안전성, 프라이버시, 보정, 조작 방지, 사용자 선호도, 가역성, 이해관계자 영향과 같은 맥락에 의존하는 여러 목표를 고려해야 하며, 어떤 목표가 활성화되었는지, 어떤 목표가 부드러운 선호도인지, 어떤 목표가 하드 또는 준하드 제약으로 작동해야 하는지 결정해야 합니다. 이러한 예는 포괄적인 분류학으로 의도되지 않았습니다: 다른 도메인과 배포 설정은 다른 목적 차원과 다른 충돌 해결 절차를 활성화할 수 있습니다. 우리의 프레임워크는 AI 행위를 후보 행동, 목표 추정치, 활성화된 제약, 이해관계자, 불확실성, 그리고 충돌 해결 절차에 대한 맥락에 의존하는 선택 규칙으로 모델링합니다. 우리는 분해된 목표 표현, 맥락에서 목표 라우팅, 계층적 제약, 논리적 정책 추론, 통제된 개인화, 도구 사용 제어, 진단 평가, 감사, 배포 후 수정을 기반으로 구현 경로를 개요합니다.