๐ค Transformers์ ๋งค์ฐ ์ค์ํ ์๋ก์ด ๊ธฐ๋ณธ ๊ธฐ๋ฅ(primitive)์ด ์ถ๊ฐ๋์์ต๋๋ค: ์์ฌ ๊ฒฐ์ ๋ชจ๋ธ(decision models).
์ ๋ ์ด๊ฒ์ด ํน์ ๋จ์ผ ๋ชจ๋ธ์ ์ง์ํ๋ ๊ฒ๋ณด๋ค ํจ์ฌ ๋ ์ค์ํ ์ ์๋ค๊ณ ์๊ฐํฉ๋๋ค.
์ค๋๋ , ๋ค์ํ ์์ฌ ๊ฒฐ์ ๋ชจ๋ธ๋ค์ '๊ฒฐ์ ์ ๋ด๋ฆฌ๋ ํ์'์ ์ ๊ทผํ๋ ๋ฐฉ์์ด ๋ค๋ฆ
๋๋ค:
- @typesafeai์ Jev๋ ์์กฐ(OG)๋ก, ํ์
์ง์ ๋ ๊ฒฐ์ ๊ณผ ๋ณด์ ๋ ํ๋ฅ ์ ์ ๊ณตํ๋ฉฐ ๋จ์ผ ์์ ํ(single forward)๋ฅผ ์ํํฉ๋๋ค.
- @AutoTrustAI์ JEV๋ ํ์ต๋ ์์ฌ ๊ฒฐ์ ๋ธ๋ก ์ฃผ๋ณ์ ๊ฐ๋ฐฉํ System One ๋ชจ๋ธ์ ๊ตฌ์ถํ๋ฉฐ ๋ฉํฐ๋ชจ๋ฌ ๊ธฐ๋ฅ์ ์ง์ํฉ๋๋ค.
- @jaredpalmer์ KEV๋ ์ต์
์์ ํฌ์ธํฐ ํค๋(pointer head)๋ฅผ ์ฌ์ฉํ์ฌ, ์ง๋ฌธ ์ ๋ฐ์ ๊ฑธ์ณ ์ํ ๊ณ์ฐ์ ๊ณต์ ํฉ๋๋ค.
- @Cloudflare์ CLEF๋ ๊ฒฐํฉ ์คํค๋ง ํค๋(joint schema head)๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์ด ํค๋๊ฐ ์ํ(state), ์ง๋ฌธ(questions), ์ต์
(options) ๊ฐ์ ์ฆ๊ฑฐ ํ๋ฆ์ ๊ฒฝ๋ก ์ง์ ํ๊ณ ์ ์ฒด ์คํค๋ง๋ฅผ ํจ๊ป ์ ์ํํฉ๋๋ค.
- @perplexity_ai์ Decider๋ Qwen ์์ ๋ณ๋์ 255๊ฐ์ง ๋ฐฉ์์ ํ๋
๊ธฐ(readout)๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์์ ์ดํ
์
๋ ์ด์ด(full-attention layers)์์ ๋น์ธ๊ณผ์ ์ดํ
์
(non-causal attention)์ ์ฌ์ฉํฉ๋๋ค.
- @liquidai์ d1์ ์์ง(edge)๊น์ง ์คํ๋ ์ ์๋ ์๊ณ ๋ฉํฐ๋ชจ๋ฌํ ์์ฌ ๊ฒฐ์ ๋ชจ๋ธ๋ค์ ํ๊ตฌํ๊ณ ์์ต๋๋ค.
- ๊ทธ๋ฆฌ๊ณ @XunzhuoLiu์ Semantic Router ํ์ System One๊ณผ D3 ํจ๋ฐ๋ฆฌ๋ฅผ ํตํด ์๋น์ค ์ธก๋ฉด์ ๊ฐ๋ ฅํ๊ฒ ์ถ์งํ๊ณ ์์ผ๋ฉฐ, ์ด๋ ์ ํ, ์ ์, ์/์๋์ค ๊ฒฐ์ ์ ๋ํ ๋จ์ผ ํ์
์ธํฐํ์ด์ค๋ฅผ ์ ๊ณตํ๋ฉฐ, ์๋ธ 1B๋ถํฐ 27B๊น์ง์ ๋ชจ๋ธ์ ๋ค๋ฃน๋๋ค.
์ด๋ฌํ ์คํ์ ์ข๊ณ ํ์ํฉ๋๋ค! ํ์ง๋ง ๊ณตํต๋ ์ธํฐํ์ด์ค๊ฐ ์๋ค๋ฉด, ๋ชจ๋ ํ์ต ํ๋ ์์ํฌ(training framework), ์ถ๋ก ์์ง(inference engine), ํ๊ฐ ๋๊ตฌ๋ ๋ชจ๋ ๊ตฌํ์ฒด๋ฅผ ๊ฐ๋ณ์ ์ผ๋ก ์ดํดํด์ผ ํฉ๋๋ค.
๊ทธ๋์ Transformers์์ ๊ณต์ ์์ฌ ๊ฒฐ์ ๋ชจ๋ธ ๋ ์ด์ด(shared decision-model layer)๋ฅผ ๋์
ํฉ๋๋ค:
DecisionConfig<br>pipeline("decision")<br>๊ทธ๋ฆฌ๊ณ ๊ฐ์ฅ ์ค์ํ:<br><br>model.decide(...)<br
์ด ์์ด๋์ด๋ ๋ชจ๋ ์์ฌ ๊ฒฐ์ ๋ชจ๋ธ์ด ๋ด๋ถ์ ์ผ๋ก ๋์ผํ๊ฒ ์๋ํ๋๋ก ๋ง๋๋ ๊ฒ์ด ์๋๋ผ, ์ฃผ๋ณ ์ํ๊ณ(ecosystem)์ ๋ํด ๊ฐ์ ์ธ์ด๋ฅผ ์ฌ์ฉํ๋๋ก ํ๋ ๊ฒ์
๋๋ค.
์ด๋ ๋ค์๊ณผ ๊ฐ์ ๊ฒ์ ์๋ฏธํฉ๋๋ค: ์ปค์คํ
๋๋ ์๊ฒฉ ์ฝ๋๋ฅผ ์คํํ์ง ์๊ณ ๋:
- ์ถ๋ก ์์ง์ ํ๋์ ์ธํฐํ์ด์ค๋ฅผ ํตํด ์ด๋ค์ ์๋น์คํ ์ ์์ต๋๋ค.<br>- ํ์ต ๋๊ตฌ๋ ๊ณตํต ๊ธฐ๋ณธ ๊ธฐ๋ฅ(common primitives)์ ๊ธฐ๋ฐ์ผ๋ก ๊ตฌ์ถํ ์ ์์ต๋๋ค.<br>- ํ๋ธ(Hub)๋ ์ด๋ค์ ์ผ๊ด์ฑ ์๊ฒ ํจํค์งํ ์ ์์ต๋๋ค.<br>- ํ๊ฐ๋ ๋ชจ๋ ๊ณณ์ ๋ชจ๋ธ๋ณ ์ ์ฐฉ์ (model-specific glue)๊ฐ ํ์ ์์ด ๋น๊ตํ ์ ์์ต๋๋ค.
์ ๊ฐ ๊ฐ์ฅ ๊ธฐ๋ํ๋ ํธ๋์คํฌ๋จธ(transformers)์ ๋ถ๋ถ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค: ์ํ๊ณ์ ์๋ง์ ์์ด๋์ด๋ค๊ณผ ํจ๊ป ์ฑ์ฅํ๊ณ , ์ด ๋ชจ๋ ๊ฒ์ ๋ชจ๋๊ฐ ๋ ์ฌ์ฉํ๊ธฐ ์ฝ๊ฒ ๋ง๋๋ ๊ฒ์
๋๋ค.