이 저장소는 광범위한 영향력 있는 머신러닝 및 딥러닝 연구 논문들로부터 결과를 재현하는 코드 구현체와 실험들을 모아 담고 있습니다. 각 하위 폴더는 특정 논문, 모델 또는 기술에 해당하며, 코드, 노트, 때로는 사전 학습된 가중치나 결과물도 포함하고 있습니다.
-
Attention Mechanisms/: 다양한 어텐션 메커니즘(attention mechanisms)에 대한 구현체 및 실험.
-
BERT/: BERT 모델의 재현 및 탐구.
-
CGANs/: 조건부 생성적 적대 신경망(Conditional Generative Adversarial Networks).
-
CLAP/: 대비 언어-오디오 사전 학습(Contrastive Language-Audio Pretraining).
-
CLiP/: CLIP 및 관련 비전-언어 모델(vision-language models).
-
CycleGANs/: 이미지 변환을 위한 순환 일관성 GAN(Cycle-consistent GANs).
-
DCGANs/: 심층 컨볼루션 적대 신경망(Deep Convolutional GANs).
-
DDP/: 분산 데이터 병렬(Distributed Data Parallel) 학습 실험.
-
DeepSeekV3/: DeepSeek 모델 재현 및 실험.
-
Differential Transformer/: 차분 트랜스포머(Differential Transformer) 아키텍처.
-
DPO/: 직접 선호도 최적화(Direct Preference Optimization) 및 관련 RLHF 방법.
-
Encoder-Decoder/: 시퀀스 모델링을 위한 인코더-디코더(Encoder-decoder) 아키텍처.
-
Fine Tuning using PEFT/: 파라미터 효율적 미세 조정(Parameter-Efficient Fine-Tuning) 기법.
-
Gemma/, Gemma3/: Gemma 모델 재현체.
-
GPT/: 생성형 사전 학습 트랜스포머(Generative Pretrained Transformer) 모델.
-
GRU/: 게이팅 순환 단위(Gated Recurrent Unit) 모델.
-
Kimi-K2/: Kimi-K2 모델 재현 및 학습 스크립트.
-
Llama/, Llama4/: Llama 모델 재현 및 실험.
-
Llava/: 대규모 언어 및 비전 어시스턴트(Large Language and Vision Assistant) 모델.
-
LoRA/: 효율적인 미세 조정을 위한 낮은 순위 적응(Low-Rank Adaptation).
-
LSTM/: 장단기 메모리(Long Short-Term Memory) 모델.
-
Mixtral/: Mixture-of-Experts Transformer 모델.
-
Moonshine/: Moonshine 모델 실험.
-
ORPO/: 온라인 RLHF 선호도 최적화 (Online RLHF Preference Optimization).
-
PaliGemma/: PaliGemma 모델 재현.
-
Pix2Pix/: Pix2Pix를 사용한 이미지-대-이미지 변환.
-
RNNs/: 순환 신경망 (Recurrent Neural Networks).
-
Seq2Seq/: 시퀀스-대-시퀀스 모델 (Sequence-to-sequence models).
-
SigLip/: 언어-이미지 사전 학습을 위한 시그모이드 손실 (Sigmoid Loss for Language-Image Pretraining).
-
SimplePO/: 단순 선호도 최적화 (Simple Preference Optimization).
-
Transformer/: Transformer 모델 재현 및 변형.
-
TTS/: 텍스트-음성 변환 모델 (Text-to-Speech models).
-
VAE/: 변이형 오토인코더 (Variational Autoencoders).
-
ViT/: 비전 트랜스포머 모델 (Vision Transformer models).
-
WGANs/: Wasserstein GANs.
-
Whisper/: Whisper 음성 인식 모델 재현.
각 폴더는 독립적으로 구성되어 있으며, 해당 논문의 결과를 재현하기 위한 코드, 스크립트, 그리고 때로는 노트북을 포함하고 있습니다. 특정 지침은 각 하위 폴더의 README 또는 노트 파일을 참조해 주십시오.
제안 사항, 개선점, 또는 추가 재현 코드를 추가할 경우 언제든지 이슈(issues)를 열거나 풀 리퀘스트(pull requests)를 해주세요!
