Pandas 파이프라인을 Polars로 옮기기 전 점검하기

저는 마이그레이션 논의가 속도 비교부터 시작하는 것을 보았습니다. 기존 파이프라인에게 더 어려운 질문은 종종 그 코드가 Pandas에 대해 이미 가정하고 있는 것들입니다. 암시적 인덱스(implicit index), 행 반복(row iteration), 또는 Python 콜백 함수는 전체 설계를 형성할 수 있습니다. 저는 누군가 import를 대체하기 시작하기 전에 이러한 호출들을 노출시키기 위해 polars-ready를 만들었습니다.

이 CLI는 Python 파일, 노트북 또는 디렉토리를 받습니다. 표준 라이브러리 AST(Abstract Syntax Tree)로 소스를 파싱하며 스캔하는 코드는 절대 import하지 않습니다. 보고서는 인식된 각 연산, 해당 소스 라인, 대략적인 카테고리, 그리고 제안되는 Polars 방식을 이름 붙여 보여줍니다. 디렉토리 스캔은 파일별 작은 막대 그래프를 생성합니다. JSON 출력을 사용하면 동일한 발견 사항을 마이그레이션 체크리스트나 CI(Continuous Integration) 작업에 사용할 수 있습니다.

설치 및 감사 명령어는 다음과 같습니다:

uvx --from git+https://github.com/Arthur031221/polars-ready polars-ready path/to/pipeline.py

CSV를 읽고, 결측값을 제거하고, 지역별로 판매량을 그룹화한 다음, 요약본을 작성하는 파이프라인을 고려해 봅시다. 이러한 호출들은 출력에서 볼 수 있습니다. 만약 동일한 파일이 `set_index(

스캐너는 현재 일반적인 Pandas 임포트 별칭과 인식된 생성자 또는 호출에서 할당된 로컬 변수를 따릅니다. 다른 함수를 통해 전달되거나 컨테이너에 저장된 프레임은 놓칠 수 있습니다. 또한 추적되는 변수 이름이 재사용될 경우 관련 없는 메서드를 보고할 수도 있습니다. 셸이나 IPython 매직으로 시작하는 노트북 셀은 건너뛰어지며, 다른 구문 분석 오류는 보고서에 나타납니다. 이러한 제한 사항들은 조용한 클린 보고가 잘못된 자신감을 줄 수 있기 때문에 README에 명시되어 있습니다.

저는 별칭 처리, 체인 호출(chained calls), 노트북 위치 및 관련 없는 메서드 이름에 대한 재현 가능한 판매 파이프라인 픽스처와 테스트를 포함했습니다. 이 프로젝트는 MIT 라이선스를 따릅니다. 특히 리샘플링(resampling), 범주형 데이터(categorical data), 시간대(timezones)의 경우 규칙이 잘못된 수준의 우려를 제기하는 예시가 있으면 좋겠습니다. 저장소는 https://github.com/Arthur031221/polars-ready입니다.