pykale: 효율적인 멀티모달 머신러닝 및 AI를 위한 라이브러리

'green', 효율적인 멀티모달 머신러닝 및 AI를 향한 많은 훌륭한 아이디어를 담은 매우 멋진 라이브러리.

Kevin Carlberg, Facebook Reality Labs의 AI Research Science Manager (트윗에서 인용됨: tweet).

PyTorch Landscape

tests

codecov

Python

시작하기 (Getting Started) |
문서화 (Documentation) |
기여 (Contributing) |
토론 (Discussions) |
변경 로그 (Changelog)

PyKale은 데이터, 소프트웨어, 최종 사용자 간의 격차를 해소하여 기계 학습을 학제 간 연구에 더욱 접근하기 쉽게 만드는 것을 목표로 하는 PyTorch 생태계 내 라이브러리입니다. 기계 학습 전문가와 최종 사용자 모두 녹색 기계 학습(green machine learning) 원칙에 따라 안내되는 PyKale의 접근성 높고, 확장 가능하며, 지속 가능한 설계 덕분에 더 나은 연구를 수행할 수 있습니다. PyKale은 통일된 파이프라인 기반 API를 가지고 있으며 현재 그래프, 이미지 및 비디오에 대한 멀티모달 학습과 전이 학습에 중점을 두고 있으며, 딥러닝 및 차원 축소를 지원하는 모델을 갖추고 있습니다.

PyKale은 PyTorch Landscape에서 Meta의 MMF, NVIDIA의 NeMo, Microsoft의 USB와 함께 'Multimodal' 항목에 공식적으로 등재된 네 개의 라이브러리 중 하나입니다. 더욱 특징적인 점은 PyKale이 모델링보다는 훈련(training)을 위한 위치를 차지하는 유일한 라이브러리라는 것인데, 이는 재사용 가능한 워크플로우, 평가, 적응 및 배포 가능한 멀티모달 AI 시스템에 초점을 맞추고 있음을 반영합니다.

PyKale은 녹색 기계 학습 개념인 반복과 중복을 줄이고(reducing), 기존 리소스를 재사용하며(reusing), 영역 전반에 걸쳐 학습 모델을 순환시키는(recycling) 방식을 통해 표준화(standardization)와 미니멀리즘(minimalism)을 강제합니다. PyKale은 생물정보학, 그래프 분석, 이미지/비디오 인식 및 의료 영상과 같은 응용 분야에서 그래프, 이미지, 비디오에 대한 학제 간, 지식 기반 기계 학습 연구를 가능하게 하고 가속화할 것이며, 정확하고 해석 가능한(interpretable) 예측을 위해 여러 출처의 지식을 활용한다는 큰 주제를 가지고 있습니다.

저희의 arXiv preprint과 YouTube에 올라온 네 개의 짧은 소개 영상들을 확인해 보세요: PyKale을 구축하는 이유? PyKale은 어떻게 만들어졌나? PyKale에는 무엇이 있나?, 그리고 5분 요약본.

PyKale을 사용한 이벤트

Open Biomedical Multimodal AI Research Workshop @ EMBC-2025

파이프라인 기반 API

loaddata: 디스크 또는 온라인 리소스에서 데이터를 불러옵니다.
prepdata: 아래의 머신러닝 모듈에 맞게 데이터를 전처리합니다 (변환).
embed: 새로운 표현을 학습하기 위해 데이터를 새로운 공간에 임베딩합니다 (특징 추출/선택).
predict: 원하는 출력을 예측합니다.
evaluate: 특정 지표를 사용하여 성능을 평가합니다.
interpret: 주로 시각화를 통해 사후 예측 분석(post-prediction analysis)으로 특징과 출력을 해석합니다.
pipeline: 여러 다른 모듈들을 결합하여 머신러닝 워크플로우를 지정합니다.

사용 예시

examples는 표준화된 구조로 특정 데이터셋에 대한 실제 응용 사례를 보여줍니다.

사용 방법

0단계: 설치

PyKale은 Python 3.10, 3.11 또는 3.12를 지원합니다. pykale을 설치하기 전에 먼저 하드웨어에 맞는 PyTorch를 설치하는 것이 좋으며, 그래프(graphs)를 사용할 경우 공식 지침(official instructions)에 따라 PyTorch Geometric을 설치하세요.

PyPI에서 pykale을 간단히 설치할 수 있습니다:

pip install pykale

더 자세한 내용과 다른 옵션은 설치 가이드를 참조해 주세요.

1단계: 튜토리얼 및 예시

먼저, 예제에서 API 사용법을 안내하는 간략한 튜토리얼이나 인터랙티브 Jupyter 노트북 튜토리얼을 통해 살펴볼 수 있습니다. 예를 들어, 기본적인 숫자 분류 문제를 위해

Open in Colab 또는

Binder을 참고하세요.

추가 학습 자료는 당사의 멀티모달 AI 워크숍을 지원하는 튜토리얼 저장소를 참조해 주십시오.

예제(examples)를 둘러보며 PyKale이 다양한 설정, 예를 들어 PyTorch Lightning 사용 유무에 관계없이 광범위한 애플리케이션에서 다양한 예측 작업을 수행하는 데 어떻게 사용되는지 확인해 보세요.

도움이 필요하거나 잘못된 점을 발견했다면 PyKale의 GitHub 토론(Discussions) 탭에 질문하거나 이슈를 생성하세요.

단계 2: 빌드 및 기여하기 (Building and Contributing)

튜토리얼을 참고하여 새로운 모듈 및/또는 프로젝트를 PyKale로 구축할 수 있습니다. 예를 들어, 기존 파이프라인을 수정하거나 새로운 파이프라인을 구축하는 방법 등이 있습니다.

본 프로젝트는 오픈 소스이며 여러분의 기여를 환영합니다. 세 가지 방식으로 기여할 수 있습니다:

Star 및 fork PyKale를 통해 최신 개발 상황을 확인하고, 네트워크와 공유하며, 관련 질문을 ask questions할 수 있습니다.
프로젝트에서 PyKale를 사용하시고, 발견한 버그(&수정 사항)나 기능 요청/제안은 issue를 생성하여 알려주세요.
사소한 수정이나 새로운 기능, 함수 또는 예제를 기여하려면 branch, fork, and pull을 통해 기여하여 contributors 중 한 명이 되어주세요.

자세한 내용은 contributing guidelines를 참고하세요. 필요하다면 <a href="mailto:pykale-group@sheffield.ac.uk">이메일</a>로도 연락할 수 있습니다. 이 오픈 소스 프로젝트 참여는 Code of Conduct의 적용을 받습니다.

누가 우리인가 (Who We Are)

팀 (The Team)

PyKale은 Haiping Lu, Shuo Zhou, Xianyuan Liu, 그리고 Peizhen Bai가 유지 관리하며, 다른 많은 contributors의 기여를 받고 있습니다.

인용 (Citation)

    @inproceedings{pykale-cikm2022,
      title     = {{PyKale}: Knowledge-Aware Machine Learning from Multiple Sources in {Python}},
      author    = {Haiping Lu and Xianyuan Liu and Shuo Zhou and Robert Turner and Peizhen Bai and Raivo Koot and Mustafa Chasmai and Lawrence Schobs and Hao Xu},
...

_PyKale_이 연구에 유용하다고 생각되시면 위에 제시된 CIKM2022 논문을 인용해 주시기를 부탁드립니다.

감사 (Acknowledgements)

PyKale의 개발은 다음 보조금들로부터 부분적으로 지원받았습니다:

EPSRC Network Plus: Tomorrow's Engineering Research Challenges (grant no. UKRI396) - "UK Open Multimodal AI Network (UKOMAIN)"
University of Sheffield: Centre for Machine Intelligence (CMI) - AI Research Engineering (AIRE).
Wellcome Trust Innovator Awards: Digital Technologies (grant no. 215799/Z/19/Z) - "Cardiac MRI 데이터의 예후 및 치료 반응 평가 개선을 위한 머신러닝 도구 개발".