BrokenML: 에이전트가 실패한 ML 작업을 수정할 수 있을까?

Write-up: https://zhebrak.io/posts/brokenml/ Repo: https://github.com/zhebrak/brokenml

저는 에이전트가 어떤 수준의 접근 권한을 가져야 실패한 ML 워크로드(2노드 Slurm 클러스터에서 PyTorch over Gloo 또는 Docker Compose로 실행되는 llama.cpp 서버)를 성공적으로 수정할 수 있는지 알아보기 위한 벤치마크를 구축했습니다. 별도의 검증기(verifier)가 신규 클러스터에서 작업을 재실행하여 각 솔루션을 점수화합니다. 결함들은 실제 환경에서 볼 수 있는 것들을 반영하도록 설계되었으며, 여기에는 랭크 간의 shape 불일치나 정지된 통신(hanging collectives), 느린 노드(straggler node), OOM 오류, 손상된 모델 체크포인트, 스케줄링 문제, 낮은 서빙 처리량, 그리고 조용한 손실 발산 등이 포함됩니다. 아홉 개의 모델이 세 가지 접근 수준에서 모든 작업을 수행했습니다: 설정 및 코드만, 또는 라이브 읽기 전용 로그 추가, 혹은 클러스터의 root 권한입니다. 오픈 모델과 폐쇄 모델 간의 격차는 주로 에이전트가 전체 클러스터 접근 없이 설정 파일과 코드로만 할 수 있는 작업에 있습니다. 주요 주의사항은 Gloo 위에서 CPU(GPU 아님)로 실행된다는 점과, 모델당 작업별로 단 한 번의 실행만 가능하다는 것입니다.
submitted by /u/zhebrak [link] [comments]