Originally published on AI Tech Connect.

왜 지금 On-Device가 채용의 핵심 경로인가 지난 3년 동안 대부분의 시간 동안, "AI 엔지니어"는 "호스팅된 API를 호출하는 사람"을 의미했습니다. 그것이 여전히 업무의 대부분을 차지합니다. 하지만 그 아래에 두 번째 경로가 열렸으며, 빠르게 채용이 이루어지고 있습니다. 바로 데이터 센터로의 왕복 과정 없이 노트북, 휴대폰, 차량 헤드 유닛(head-unit), 공장 게이트웨이와 같은 디바이스에서 실행되는 모델을 구축하는 것입니다. 세 가지 힘이 워크로드(workload)를 엣지(edge)로 밀어붙이고 있으며, 그 중 어느 것도 일시적인 유행이 아닙니다. 첫째, 실리콘(silicon)이 준비되었습니다. Qualcomm의 Snapdragon X2 Elite는 Qualcomm 자체 수치로 약 80 TOPS로 평가되는 신경망 처리 장치(NPU)를 탑재하고 있으며, 이는 클라우드에 접속하지 않고도 대화 속도로 양자화된 소규모 언어 모델(small language model)을 실행하기에 충분합니다. Apple, AMD, Intel 모두 유사한 NPU를 탑재하여 출시하고 있습니다. 둘째, 모델이 적합한 크기로 줄어들었습니다. Google의 Gemma 4는 ...

AI Tech Connect에서 전체 기사 읽기 →