오디오 거대 언어 모델 (AudioLLMs)의 발전과 함께, 오디오 캡셔닝 (audio captioning)은 짧은 설명에서 벗어나 개방형의 세밀한 자유 형식 설명(free-form descriptions)으로 나아가야 합니다. 기존의 평가 방식은 주로 생성 품질이나 작업 성능에 집중되어 있어, 정보의 커버리지 (information coverage)와 설명의 신뢰성 (description reliability)을 진단하기 어렵습니다. 우리는 오디오 캡셔닝 (Audio Captioning)을 위한 대규모 다차원 벤치마크인 MMAC ( extbf{M}assive extbf{M}ulti-dimensional benchmark for extbf{A}udio extbf{C}aptioning)를 제안합니다. MMAC는 20개 이상의 데이터 소스에서 추출한 5,638개의 오디오 클립을 포함하며, 6개의 능력 카테고리와 15개의 평가 차원을 다룹니다. 모델이 생성한 캡션이 주어지면, MMAC는 해당 캡션이 목표 차원의 관련 정보를 언급하는지, 그리고 언급된 내용이 참조 라벨 (reference label)과 일치하는지를 확인합니다. 우리는 대표적인 오픈 소스 및 독점 AudioLLMs를 평가했습니다. 결과는 평가 차원, 정보 커버리지, 그리고 설명 신뢰성에 따라 뚜렷한 차이가 있음을 보여줍니다. 우리는 MMAC 벤치마크와 평가 코드를 공개할 예정입니다.