Nemotron-3.5-Bolt-74-A9B 및 Nemotron-3.5-Super-VL 테스트 결과

Nemotron-3.5의 성능은 제가 만든 도메인 특화 테스트 중 pandas/numpy와 DDDM(data-driven decision-making) 섹션에서 특히 좋지 않습니다. Bolt 모델의 중간 사고 능력은 Nemotron nano보다 떨어집니다. 높은 수준의 사고 능력은 약간 더 낫지만 (통계적으로 유의미한 수준은 아님), 속도가 너무 느립니다. Super-VL 모델은 기본 최대 토큰 예산(16k) 때문에 테스트당 3번 잘림이 발생했습니다. 이 값이 상향되거나 제한이 풀린다면, 이를 해결하고 더 나은 점수를 얻을 수 있을 것입니다. 만약 Super-VL에 사용할 하드웨어가 있다면, 여러 번의 반복과 테스트를 거쳐 보는 것이 가치가 있습니다. 여기에는 아직 발견되지 않은 잠재력이 더 있는 것 같습니다. 저의 경우와 하드웨어로는 Bolt 모델이 제가 사용할 수 없는 모델 목록에 추가될 뿐입니다. 다른 주요 모델들과 비교한 PTA 지수는 다음과 같습니다. https://preview.redd.it/9kgojbqgvtvh1.png?width=2992&format=png&auto=webp&s=66fc9bbd4fac8aa7d7562fda158949fc6c17602d https://preview.redd.it/1uym4mu2xtvh1.png?width=2990&format=png&auto=webp&s=bb7cfa1e3222ca9d307ec2df771ec7917c930d16 /u/norenEnmotalen 제출 [링크] [댓글]