VLM 에이전트가 미리 정의된 도구 호출 대신 Jupyter에서 단계별로 Python 코드를 작성하여 공간 추론을 수행하도록 하는 방법

요약

VLM 에이전트가 미리 정의된 도구 대신 Jupyter 환경에서 직접 Python 코드를 작성하여 공간 추론을 수행하는 프레임워크를 소개합니다. 에이전트는 코드를 실행하고 중간 결과를 확인하며, 만족스러운 결과가 나올 때까지 반복적으로 코드를 수정합니다.

핵심 포인트

• Jupyter 커널을 활용한 단계별 Python 코드 실행 방식
• 계획, 코드 작성, 점검, 실행, 관찰의 5단계 루프 적용
• SAM3, Depth-Anything-3 등 하위 인지 도구 결과의 직접 조합 가능
• 코드 수정을 통한 점진적 추론 및 결과 최적화