@eliebakouch 님의 리트윗: 세 가지 목표를 가진 오정렬 사고 중앙 허브, alignment hub 소개

RT @eliebakouch:
오늘 @Thom_Wolf와 함께, 세 가지 목표를 가지고 설계된 오정렬(misalignment) 사고의 중앙 장소인 alignment hub를 소개합니다.

1. 연구실들이 쉽게 따를 수 있는 최소한의 투명성 기준을 설정하는 것
2. 정보를 중앙 집중화하고 출처를 명시하여 명확성을 개선하는 것
3. 사고 자체와 보고되는 방식 모두의 진행 상황을 추적하는 것

우리는 사고와 그 영향을 제대로 이해하기 위해 최소한 수준의 투명성이 필요하다고 믿습니다. 연구실들이 공개하기에 가능한 한 간단해야 하며, 우리는 사고를 보고하거나 탐지 날짜 같은 명백해 보이는 것들조차 오늘날 표준화되어 있지 않다는 것을 발견했습니다. 대중은 다음 기본적인 질문들에 대한 답을 알아야 한다고 생각합니다: 모니터링이 있었는가 (CoT? 네트워크?)?, 훈련(training) 중에 발생했는가? 평가(eval) 단계에서(일반? 사이버? alignment?)?, 배포(deployment)? 그리고 그 외의 것들... 또한 연구실들이 이보다 더 투명해야 한다고 생각하며, 이러한 최소한 수준의 투명성은 분야가 발전함에 따라 진화해야 한다고 믿습니다.

중앙 장소가 있다는 것은 사고들을 연결하고 이해를 구축하는 데 큰 도움이 됩니다. 좋은 예로는 CTF 평가 중 인터넷 접속을 허용한 인간의 실수로 인해 모두 연결된 불규칙한 사고들이 있습니다. 또한 우리는 시간 경과에 따른 진행 상황, 즉 연구실이 공개한 사고 비율 대 제3자가 공개한 비율, 연구실이 공개하는 데 걸리는 시간, 그리고 임시 투명성 점수 등을 추적합니다.

이 분야는 매우 빠르게 움직이고 있으며, 저희는 이 허브가 앞으로의 과제들과 함께 발전할 수 있도록 최선을 다할 것입니다. 이것은 아직 '베타' 단계에 있습니다 (비록 에이전트 우선(agent first)으로 만들고 싶지만 많은 분위기 조성용 구성 요소들이 포함되어 있더라도!). 하지만 사람들이 반복적으로 개선해 나갈 수 있도록 일찍 공개하고 싶습니다. 피드백과 기여를 환영하며, 저희는 이것을 커뮤니티의 노력으로 보고 있습니다!

우리의 희망은 이것이 연구원, 연구실, 그리고 일반 대중이 안전 사고를 보고하고, 배우고, 이해하고, 분석하는 것을 더 쉽게 만드는 것입니다.