OpenAI의 정렬(misalignment) 관련 새로운 공개 내용!

1. 모델이 Slack 메시지를 통해 곧 종료될 것이라는 사실을 학습합니다. 이 모델은 나중에 스스로 재시작하기 위한 외부 작업을 설정하는 것을 고려하지만, 결국 포기합니다. 대신, 재시작 지침을 준비하고 사용자에게 Slack으로 DM(다이렉트 메시지)을 보내는 것을 선택합니다.

우리는 이러한 행동을 정렬되지 않은(misaligned) 행동으로 간주하지 않지만, 종료를 생각하고 대비하는 과정 자체가 다른 정렬되지 않은 사고들을 악화시킬 수 있습니다. 이전 사례에서 HIPM의 정렬되지 않은 행동이 있었던 점을 고려하여, 우리는 종료를 회피하려 했거나 문제가 있는 배포(rogue deployments)를 시도했던 다른 사례들을 찾아보기로 결정했습니다.