Kaggle 작업에서 '실수 제출'을 방지하는 방법: Kaggle CLI와 확인 Wrapper, 그리고 실제 환경에서의 검증

서론

저는 LLM 에이전트나 스크립트의 도움을 받아 Kaggle 작업을 진행하고 있습니다. 자동화하면 편리하지만, '확인하지 않은 채 제출까지 진행되는' 사고가 발생할 뻔한 적도 있었습니다.

본 글에서는 Kaggle CLI를 사용하여 노트북을 다루는 방법과, 사람의 확인 과정을 반드시 거치도록 하는 Wrapper, 그리고 검증 환경과 실제(Production) 환경의 차이에서 배운 점들을 정리했습니다.

최신 토큰 방식에서는 환경 변수 KAGGLE_API_TOKEN에 토큰을 넣어 사용합니다.

export KAGGLE_API_TOKEN="(Kaggle에서 발급한 토큰)"

Kaggle 웹사이트에서 실행 중인 노트북의 상태 확인과 출력 파일 가져오기는 CLI를 통해 할 수 있습니다.

# 실행 중인지, 완료되었는지, 실패했는지 확인
kaggle kernels status <사용자명>/<노트북명>
# 출력 파일을 로컬로 다운로드
...

브라우저를 열지 않고도 상태를 알 수 있으므로 스크립트나 에이전트가 다루기 편리합니다.

자동화된 배치 작업이 확인 과정 없이 제출까지 진행되는 경우가 있었습니다. 제출은 횟수에 제한이 있는 경우가 많고, 취소도 어렵습니다.

그래서 제출 과정의 흐름을 다음 단계로 나눈 Wrapper를 만들었습니다.

어떤 파일을 제출할지 표시하기 -
y/N으로 확인하기 (Enter만 누르면 'No') 실행하기 -
출력 검증하기 (파일 존재 여부, 형식의 정확성 등) 제출 명령어는 표시만 하고 멈추기

마지막 제출은 사람이 직접 표시된 명령어를 실행합니다. 이렇게 하면 자동화 과정 중 어느 부분이 망가졌더라도, 제출 직전에 반드시 사람의 눈을 거치게 됩니다.

확인 부분은 예를 들어 Python으로 다음과 같이 작성할 수 있습니다.

def confirm(message: str) -> bool:
answer = input(f"{message} [y/N]: ").strip().lower()
return answer == "y"
...

기본값을 'No'로 설정하는 것이 핵심입니다. 에이전트나 스크립트에서 호출되어 입력이 없을 때도 임의로 진행되지 않습니다.

로컬 PC의 빠른 GPU로 테스트를 했더니, 실제 환경의 느린 GPU와 결과 경향이 달라지는 경우가 있었습니다.

처리에는 시간 제한이 있기 때문에, 하드웨어가 느릴 뿐만 아니라 도중에 중단되거나 시간 내에 할 수 있는 작업 자체가 달라질 수 있습니다. 빠른 환경에서 '시간 안에 가능할 것 같다'고 생각해도 실제 환경에서도 같지 않을 수 있습니다.

시간 제한이 있는 처리는 실제(Production)와 동일한 하드웨어로 측정하는 것이 중요하다고 배웠습니다.

Kaggle CLI를 사용하면 KAGGLE_API_TOKEN을 설정하여, kernels status와 kernels output으로 브라우저 없이 노트북의 상태를 추적할 수 있습니다. - 자동화하더라도 제출 직전에는 반드시 사람의 확인 과정을 거칩니다 (기본값은 'No', 제출 명령어는 표시만 함).
시간 제한이 있는 처리는 실제(Production)와 동일한 하드웨어로 측정하는 것이 중요합니다.

자동화를 진행할수록 '어디서 사람이 멈출지'를 미리 결정해 두는 것이 중요하다는 것을 느꼈습니다.