数据工程手册

项目目标

本仓库汇集了成为优秀数据工程师所需的全部资源，覆盖入门路线、实战项目、面试准备、书籍推荐、社区、工具厂商、技术博客、白皮书、社交媒体账号、播客、术语表、设计模式、课程与认证考试，适合从新手到资深从业者各阶段学习。

入门指引

新手可参考《2024 数据工程入门路线图》。

• 4 周免费初学者训练营：包含 beginner-bootcamp/introduction.md 介绍与 beginner-bootcamp/software.md 所需软件说明。
• 6 周免费进阶训练营：包含 intermediate-bootcamp/introduction.md 与 intermediate-bootcamp/software.md。

进一步学习可通过仓库内的 projects.md（项目实战）、interviews.md（面试指南）、books.md（书籍清单）、communities.md（社区列表）、newsletters.md（邮件订阅）查阅。

推荐书籍

推荐阅读的三本核心书籍：

• 《Fundamentals of Data Engineering》
• 《Designing Data-Intensive Applications》
• 《Designing Machine Learning Systems》

主流社区

数据工程推荐加入 Discord 与 Slack 社区，如 DataExpert.io Community、Data Talks Club、Data Engineer Things；机器学习方向可加入 AdalFlow Discord 与 Chip Huyen MLOps Discord。

生态厂商分类

仓库按数据工程栈的关键环节整理了主要工具与厂商：

• 编排调度：Mage、Airflow、Prefect、Dagster、Astronomer、Kestra、Shipyard、Hamilton
• 数据湖与云：Delta Lake、Apache Iceberg、Apache Polaris、Databricks、Onehouse、Tabular、Lakekeeper、DuckLake
• 数据仓库：Snowflake、Firebolt、Databend
• 数据质量：dbt、Great Expectations、Metaplane、Soda、DQops、Coalesce、Dingo 等
• 教育平台：DataExpert.io、LearnDataEngineering.com、AlgoExpert、ByteByteGo
• 分析与可视化：Preset、Metabase、Tableau、Power BI、Looker Studio、Apache Superset、Evidence
• 数据集成：Fivetran、Airbyte、dlt、Sling、Meltano、Estuary
• 语义层：Cube、dbt Semantic Layer
• 现代 OLAP：ClickHouse、Apache Druid、Apache Pinot、DuckDB、StarRocks、QuestDB
• LLM 应用库：LangChain、LlamaIndex、AdalFlow
• 实时数据：RisingWave、Striim、Aggregations.io
• 数据血缘：OpenLineage

技术博客与白皮书

汇总了 Netflix、Uber、Databricks、Airbnb、AWS、Microsoft、Oracle、Meta、Onehouse、Estuary 等公司的工程博客。

精选白皮书涵盖 Lakehouse 架构、数据质量模型、Spark 与 MapReduce 论文、Google 文件系统、XTable 跨格式互操作、Tidy Data 等主题。

社交媒体账号

按 YouTube、LinkedIn、X/Twitter、Instagram、TikTok 四个平台整理了数据工程领域创作者名单，并标注粉丝量与主页链接（YouTube 频道如 ByteByteGo、Data with Baraa、Data with Zach、Seattle Data Guy 等）。

播客资源

收录 The Data Engineering Show、Data Engineering Podcast、DataTopics、Data Brew by Databricks、Streaming Audio by Confluent、MLOps.community、The Joe Reis Show 等 20 余档节目。

术语表

• Data Engineering Vault
• Airbyte Data Glossary
• Data Engineering Wiki by Reddit
• Secoda Glossary
• Databricks Glossary
• Dagster 数据工程术语表

设计模式

• 累积表设计（Cumulative Table Design）
• 微批去重（Microbatch Deduplication）
• 《The Little Book of Pipelines》
• Data Developer Platform 架构规范

课程与认证

在线课程

DataExpert.io、LearnDataEngineering.com、DataTalksClub 数据工程训练营、DeepLearning.AI 数据工程证书、IBM Data Engineering for Everyone、DataCamp、Qwiklabs、Rock the JVM（Spark/Flink）、Scaler、Coursera 与 Udemy 课程等。

主流认证

• Google Cloud Professional Data Engineer
• Databricks Spark Developer / Data Engineer Associate / Professional
• Microsoft DP-203（Azure 数据工程）、DP-600（Fabric Analytics Engineer）、DP-700（Fabric Data Engineer）
• AWS Certified Data Engineer – Associate