맥락적 다목적 최적화: 프론티어 AI 시스템의 목표 재고

요약

프론티어 AI 시스템은 명확하고 검증 가능한 목표가 있는 환경에서는 강력하지만, 목표가 모호하거나 맥락에 의존적인 개방형 환경에서는 신뢰성이 떨어지는 경향이 있습니다. 본 논문은 이러한 실패의 원인을 단순히 능력 부족이 아닌 '목표 선택의 실패'로 진단하며, 이를 '맥락적 다목적 최적화(Contextual Multi-Objective Optimization)' 문제로 형식화합니다. 제안된 프레임워크는 유용성, 안전성, 개인정보 보호 등 다양한 맥락 의존적 목표들을 고려하고, 어떤 목표가 활성화되어야 하는지, 그리고 이들 목표 간의 충돌을 어떻게 해결해야 하는지를 모델링하는 방법을 제시합니다.

핵심 포인트

• AI 시스템은 명확한 목표(예: 코드 생성)에서는 잘 작동하지만, 모호하거나 맥락 의존적인 개방형 환경(예: 과학적 지원, 장기 에이전트)에서는 신뢰성이 낮다.
• 시스템의 실패는 능력 부족보다는 '목표 선택의 실패'에서 기인하며, 이를 '맥락적 다목적 최적화'로 정의한다.
• 제안된 프레임워크는 유용성, 안전성, 개인정보 보호 등 다양한 맥락 의존적 목표들을 통합적으로 고려하도록 설계되었다.
• AI 행위는 후보 행동, 추정된 목표, 활성화된 제약 조건, 이해관계자 등을 포함하는 맥락에 의존적인 선택 규칙으로 모델링된다.
• 구현 경로에는 분해된 목표 표현, 계층적 제약 관리, 논리적 정책 추론, 그리고 배포 후 수정 및 감사 과정이 포함된다.