제가 관리하는 오픈 소스 바둑 프로그램인 "KataGo"의 신경망 내부 대칭성에 관한 작은 연구/ML 해석학(ML interp) 연구를 방금 게시했습니다. 바둑의 규칙은 회전/반사(rotation/reflection)에 대해 완전히 대칭적이지만, 모델 내에서 그러한 대칭성이 강제되지는 않습니다. 우리가 이를 위해 수행하는 유일한 작업은 학습 과정에서 각 배치의 공간적 방향을 무작위화하는 확률적 8회 데이터 증강(stochastic 8-fold data augmentation)뿐입니다. 초인적인 실력을 가진 바둑 신경망이 보드의 방향과 상관없이 내부적으로 보드를 표현하는 "대칭적" 개념을 통해 어느 정도까지 자동으로 학습하는지, 반대로 각 방향별로 얼마나 많이 별도로 학습/암기해야 하는지에 대해 탐구했습니다. https://lightvector.github.io/katagostudies/202607-symmetry/ 주의사항: 이 연구와 보고서는 상세한 인간의 지시와 피드백이 과정에 포함되었으나, 거의 전적으로 AI를 통해 작성되었습니다. 하지만 저는 기사를 다듬고 교육적인 내용을 담기 위해 시간을 들였으며, 흔히 볼 수 있는 저품질의 AI "슬롭(slop)"보다 확실히 높은 수준이 되기를 바라며, 이런 작은 연구를 좋아하신다면 살펴볼 가치가 있기를 바랍니다. 또한 ML 외부의 사람들도 접근할 수 있도록 상당히 완만하게 작성되었습니다. 코드 역시 게시물에 링크되어 있습니다 (github.io 페이지를 호스팅하는 것과 동일한 저장소). 제가 이 주제를 탐구하고 싶었던 이유는 신경망 내부에서 정확히 무엇이 일어나고 있는지 정말 궁금했기 때문입니다! 그리고 결과가 어떨지 저도 몰랐습니다. 발견된 내용 중 하나는 예상 밖이었습니다. 전반적으로 기존의 해석 가능성(interpretability) 연구의 아주 작은 부분에 불과하지만, 여러분이 흥미롭게 읽어주셨으면 합니다. /u/icosaplex가 r/MachineLearning에 제출함 [link] [comments]