Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 신경망이 명사-동사-접속사로 이루어진 '삼중 구조(Triads)'라는 단순하고 구조화된 내부 언어를 갖도록 제안합니다. 이 구조는 복잡한 정보를 처리하는 사고의 기반을 제공하며, 전체 지식을 거대한 그래프가 아닌 관리 가능한 단위로 나누어 점진적으로 이해하도록 설계되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/MachineLearning (hot)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기신경망은 적어도 하나의 레이어로 구성된 여러 개의 레이어로 이루어질 것입니다. 각 어텐션 헤드(attention head)는 명사 하나 + 동사 하나 + 접속사 하나로 구성된 하나의 삼중 구조를 가집니다. The siamese cat ate the mouse then died: (Null) Cat ate also Mouse eaten and cat is-siamese Then cat died "Also" means the two events are the same event. (Not in english). 가능한 결론은 "because mouse poisoned"가 될 수 있으며, 이는 입력에 추가된 후 과정이 반복될 수 있습니다. 또한 각 어텐션 헤드에는 다음과 같은 몇 가지 다른 아이디어를 추가할 수 있습니다: * the, a, same, this, that, other, next... * 과거(Past), 현재(present), 미래(future) * Could, would, should, might, * Try to * 물음표(Question mark) 따라서(Hence) * (Null) a-Cat ate * also a-Mouse eaten * and the-cat is-siamese * Then the-cat died * therefore the-mouse might-have-been-poisoned 목표는 신경망에게 생각하고 결합할 수 있는 단순하고 구조화된 내부 언어를 제공하는 것입니다. 사고의 언어입니다. 원칙적으로, 책 전체를 상호 연결된 명사–동사–접속사 삼중 구조로 이루어진 거대한 그래프 하나로 표현할 수 있습니다. 하지만 그렇다고 해서 신경망이 전체 그래프를 동시에 처리해야 한다는 의미는 아닙니다. 인간도 보통 그런 방식으로 책을 처리하지 않습니다. 우리는 그것을 문장과 같은 관리 가능한 단위로 나누고, 그 단위를 이해하며, 점차적으로 더 큰 이야기에 대한 우리의 이해를 구축합니다. 저는 유사한 것을 제안하고 있습니다: 삼중 구조 그룹들이 함께 처리되며, 네트워크는 관련 정보를 전달하고 필요에 따라 추가적인 삼중 구조를 생성합니다.