안녕하세요 여러분, 현재 너무나 많은 훌륭한 모델들이 출시되고 있어 그 아키텍처(Architecture)의 차이점, 특히 어텐션(Attention) 설계와 혁신 사항들을 따라잡기가 매우 어렵습니다. 저도 가장 중요한 몇몇 모델들에 대해서는 알고 있지만, 최근 등장한 흥미로운 모델들의 긴 목록이 궁금했습니다. 그래서 오늘 아침, 개별 아키텍처를 연구하고, 모델들을 비교하며, 현재 어떤 트렌드가 있는지 파악하기 위한 리소스를 만들기 위해 Kimi K3 Swarm을 가동했습니다. K3 Swarm은 이 작업에 약 6시간 동안 투입되었으며, 결과가 좋고 흥미로워 다른 분들도 활용하실 수 있도록 커뮤니티에 공유합니다. 문서는 개선된 포맷의 PDF와 웹 열람용 MD 형식 모두로 제공됩니다. https://github.com/curvedinf/attention-survey-2026-07 /u/1ncehost에 의해 제출됨 [link] [comments]