DataExpert-io/data-engineer-handbook

이 저장소(repo)에는 멋진 데이터 엔지니어 (Data Engineer)가 되기 위해 필요한 모든 리소스가 담겨 있습니다!

데이터 엔지니어링 (Data Engineering) 입문자라면, 이 2024년 데이터 엔지니어링 입문 로드맵 (roadmap)을 따라 시작하세요.

4주 무료 초급 부트캠프 (boot camp)를 찾으시는 분들은 다음을 확인하실 수 있습니다:

6주 무료 중급 부트캠프 (boot camp)를 찾으시는 분들은 다음을 확인하실 수 있습니다:

더 많은 실무 학습을 위해:

• 더 많은 실습 예제를 보려면 프로젝트 (projects) 섹션을 확인하세요!
• 데이터 엔지니어링 면접을 통과하는 방법에 대한 더 많은 조언을 보려면 인터뷰 (interviews) 섹션을 확인하세요!
• 고품질 데이터 엔지니어링 도서 목록을 보려면 도서 (books) 섹션을 확인하세요.
• 가입할 만한 고품질 데이터 엔지니어링 커뮤니티 (communities) 목록을 보려면 커뮤니티 (communities) 섹션을 확인하세요.

반드시 읽어야 할 도서 Top 3는 다음과 같습니다:

• Fundamentals of Data Engineering
• Designing Data-Intensive Applications
• Designing Machine Learning Systems

데이터 엔지니어링 (DE)를 위해 반드시 가입해야 할 커뮤니티:

머신러닝 (ML)을 위해 반드시 가입해야 할 커뮤니티:

• 오케스트레이션 (Orchestration)

• 데이터 레이크 (Data Lake) / 클라우드 (Cloud)

• 데이터 웨어하우스 (Data Warehouse)

• 데이터 품질 (Data Quality)

• 교육 기업 (Education Companies)

• 분석 / 시각화 (Analytics / Visualization)

• 데이터 통합 (Data Integration)

• 시맨틱 레이어 (Semantic Layers)

• 현대적 OLAP (Modern OLAP)

• LLM 애플리케이션 라이브러리 (LLM application library)

• 실시간 데이터 (Real-Time Data)

• 데이터 리니지 (Data Lineage)

• Netflix

• Uber

• Databricks

• Airbnb

• Amazon AWS Blog

• Microsoft Data Architecture Blogs

• Microsoft Fabric Blog

• Oracle

• Meta

• Onehouse

• Estuary Blog

• A Five-Layered Business Intelligence Architecture

• Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics

• Big Data Quality: A Data Quality Profiling Model

• The Data Lakehouse: Data Warehousing and More

• Spark: Cluster Computing with Working Sets

• The Google File System

• Building a Universal Data Lakehouse

• XTable in Action: Seamless Interoperability in Data Lakes

• MapReduce: Simplified Data Processing on Large Clusters

• Tidy Data

• Data Engineering Whitepapers

다음은 가장 포괄적인 데이터 엔지니어링 크리에이터 목록입니다:
(목록에 추가되려면 어딘가에서 최소 5,000명의 팔로워를 보유해야 합니다!)

이름	YouTube 채널	팔로워 수
ByteByteGo	ByteByteGo	1,000,000+
...
이름	LinkedIn 프로필	팔로워 수
---	---	---
Zach Wilson	Zach Wilson	400,000+
...
이름	X/Twitter 프로필	팔로워 수
---	---	---
ByteByteGo	alexxubyte	100,000+
...
이름	Instagram 프로필	팔로워 수
---	---	---
Sundas Khalid	sundaskhalidd	300,000+
...
이름	TikTok 프로필	팔로워 수
---	---	---
Zach Wilson	@eczachly	70,000+
...

• The Data Engineering Show

• Data Engineering Podcast

• DataTopics

• The Data Engineering Side Of Data

• DataWare

• The Data Coffee Break Podcast

• The Datastack show

• Intricity101 Data Sharks Podcast

• Drill to Detail with Mark Rittman

• Analytics Power Hour

• Catalog & cocktails

• Datatalks

• Data Brew by Databricks

• The Data Cloud Podcast by Snowflake

• What's New in Data

• Open||Source||Data by Datastax

• Streaming Audio by confluent

• The Data Scientist Show

• MLOps.community

• Monday Morning Data Chat

• The Data Chief

• The Joe Reis Show

• Data Bytes

• Super Data Science: ML & AI Podcast with Jon Krohn

• Joe Reis

• Start Data Engineering

• Data Engineering Weekly

• Data Engineer Things

• Data Engineering Vault

• Airbyte Data Glossary

• Data Engineering Wiki by Reddit

• Seconda Glossary

• Glossary Databricks

• Airtable Glossary

• Data Engineering Glossary by Dagster

• Cumulative Table Design

• Microbatch Deduplication

• The Little Book of Pipelines

• Data Developer Platform

• DataExpert.io 강의 이용 시 할인 코드
  HANDBOOK10을 사용하세요! - LearnDataEngineering.com

• Technical Freelancer Academy 이용 시 할인 코드
  zwtech를 사용하세요! - IBM Data Engineering for Everyone

• Qwiklabs

• DataCamp

• Shruti Mantri의 Udemy 강의

• Rock the JVM의 Spark (Scala 기반), Flink 및 기타 강의

• DataTalksClub의 Data Engineering Zoomcamp

• Efficient Data Processing in Spark

• Scaler

• DataTeams - 데이터 엔지니어 (Data Engineer) 채용 플랫폼

• Daniel Blanco의 Udemy 강의

• DeepLearning.AI Data Engineering Professional Certificate

• Google Cloud Certified - Professional Data Engineer

• Databricks - Certified Associate Developer for Apache Spark

• Databricks - Data Engineer Associate

• Databricks - Data Engineer Professional

• Microsoft DP-203: Data Engineering on Microsoft Azure

• Microsoft DP-600: Fabric Analytics Engineer Associate

• Microsoft DP-700: Fabric Data Engineer Associate

• AWS Certified Data Engineer - Associate