数据工程专项 - 学习指南¶

📚 课程概述¶

本课程专为清华大学计算机技术专业专硕（ 985 AI 专业本科）设计，目标是帮助学员掌握数据工程核心技术，为进入字节跳动、腾讯、阿里巴巴、百度、大疆、影石等互联网大厂就业做好准备。

🎯 学习目标¶

完成本课程后，你将能够：

理解数据工程的核心概念和技术栈
掌握数据建模和 ETL 流程设计
熟练使用数据仓库和数据湖技术
掌握实时数据处理和流处理框架
实施数据质量和数据治理
通过大厂数据工程岗位面试

📅 学习计划（ 18 周）¶

第一阶段：数据工程基础（第 1-3 周）¶

第 1 周：数据工程概述¶

学习内容：
数据工程概念、职责、技术栈
数据工程师的日常工作
数据工程的发展趋势
学习时间： 20 小时
实践项目：搭建本地开发环境
参考资料：
《 Data Engineering with Python 》
《 Designing Data-Intensive Applications 》

第 2 周：数据建模¶

学习内容：
维度建模、星型模型、雪花模型
ER 图设计
数据模型优化
学习时间： 25 小时
实践项目：设计电商数据模型
参考资料：
《 The Data Warehouse Toolkit 》
《 Data Modeling Essentials 》

第 3 周： ETL 流程设计¶

学习内容：
ETL/ELT 概念
数据抽取、转换、加载
ETL 工具选择
学习时间： 25 小时
实践项目：实现 ETL 流程
参考资料：
《 ETL Best Practices 》
《 Data Integration Blueprint 》

第二阶段：数据仓库与数据湖（第 4-6 周）¶

第 4 周：数据仓库架构¶

学习内容：
数据仓库设计
分层架构（ ODS/DWD/DWS/ADS ）
主题建模
学习时间： 25 小时
实践项目：构建数据仓库
参考资料：
《 Data Warehouse Lifecycle Toolkit 》
《 The Kimball Method 》

第 5 周：数据湖技术¶

学习内容：
Delta Lake 、 Apache Iceberg 、 Hudi
数据湖架构
数据湖仓一体化
学习时间： 25 小时
实践项目：搭建数据湖
参考资料：
《 Delta Lake Guide 》
《 Data Lakehouse 》

第 6 周：大数据处理¶

学习内容：
Hadoop 、 Spark 、 Hive
MapReduce 编程
Spark SQL
学习时间： 30 小时
实践项目：使用 Spark 处理大数据
参考资料：
《 Learning Spark 》
《 Hadoop: The Definitive Guide 》

第三阶段：实时数据处理（第 7-9 周）¶

第 7 周：实时数据处理¶

学习内容：
Kafka 消息队列
Flink 流处理
Spark Streaming
学习时间： 25 小时
实践项目：实现实时数据处理
参考资料：
《 Kafka: The Definitive Guide 》
《 Stream Processing with Apache Flink 》

第 8 周：流处理框架¶

学习内容：
Apache Beam
Apache Flink
流处理模式
学习时间： 25 小时
实践项目：使用 Beam 实现流处理
参考资料：
《 Beam Programming Guide 》
《 Stream Processing 》

第 9 周：数据管道¶

学习内容：
Airflow 工作流
dbt 数据转换
调度系统
学习时间： 25 小时
实践项目：构建数据管道
参考资料：
《 Apache Airflow Guide 》
《 The dbt Book 》

第四阶段：数据质量与治理（第 10-12 周）¶

第 10 周：数据质量¶

学习内容：
Great Expectations
Deequ
数据验证
学习时间： 20 小时
实践项目：实施数据质量检查
参考资料：
《 Great Expectations Guide 》
《 Data Quality 》

第 11 周：数据血缘¶

学习内容：
DataHub
Amundsen
元数据管理
学习时间： 20 小时
实践项目：构建数据血缘系统
参考资料：
《 DataHub Guide 》
《 Data Lineage 》

第 12 周：数据治理¶

学习内容：
数据目录
数据标准
合规管理
学习时间： 20 小时
实践项目：实施数据治理
参考资料：
《 Data Governance 》
《 Data Catalog 》

第五阶段：数据工程实践（第 13-15 周）¶

第 13 周：数据可视化¶

学习内容：
Tableau
Looker
Superset
学习时间： 20 小时
实践项目：创建数据可视化仪表板
参考资料：
《 Tableau Guide 》
《 Superset Guide 》

第 14 周：数据工程最佳实践¶

学习内容：
最佳实践
性能优化
安全管理
学习时间： 20 小时
实践项目：优化数据管道
参考资料：
《 Data Engineering Best Practices 》
《 Data Pipeline Optimization 》

第 15 周：数据工程架构¶

学习内容：
架构设计
技术选型
扩展性设计
学习时间： 25 小时
实践项目：设计数据工程架构
参考资料：
《 Data Engineering Architecture 》
《 Scalable Data Architecture 》

第六阶段：项目与面试（第 16-18 周）¶

第 16 周：实战项目开发¶

学习内容：
综合运用所学知识
完成完整项目
代码审查和优化
学习时间： 30 小时
实践项目：完成 3-5 个实战项目
参考资料：
项目实战指南

第 17 周：项目完善¶

学习内容：
项目优化
文档编写
部署上线
学习时间： 20 小时
实践项目：完善项目
参考资料：
项目优化指南

第 18 周：面试准备与总结¶

学习内容：
大厂面试题复习
系统设计题练习
项目经验总结
模拟面试
学习时间： 20 小时
参考资料：
面试题库
系统设计指南

📖 学习方法建议¶

1. 理论与实践结合¶

每学习一个概念，立即动手实践
不要只看不练，代码要亲自写
记录实践过程中的问题和解决方案

2. 项目驱动学习¶

以项目为目标，反向学习所需技术
每完成一个项目，总结技术要点
将项目部署到真实环境，体验生产场景

3. 深度学习¶

不仅要知道"怎么做"，还要理解"为什么"
阅读官方文档和源码
关注技术发展趋势和最佳实践

4. 社区参与¶

加入技术社区，参与讨论
关注 GitHub 上的开源项目
参加技术分享和会议

5. 持续学习¶

数据工程技术更新快
订阅技术博客和新闻
定期复习和更新知识体系

❓ 常见问题解答¶

Q1: 没有数据库基础可以学习吗¶

A: 可以，但建议先补充数据库基础知识。课程中会涉及大量数据库操作，建议在学习前先掌握基本的 SQL 和数据库概念。

Q2: 需要购买云服务器吗¶

A: 建议购买。虽然可以使用本地虚拟机，但真实云环境的学习体验更好。可以选择阿里云、腾讯云等国内云平台的新手套餐。

Q3: 学习时间不够怎么办¶

A: 可以根据个人情况调整学习节奏，重点是理解核心概念和完成实战项目。可以适当压缩理论部分，但实践不能省。

Q4: 面试时重点考察什么¶

A: 大厂数据工程岗位面试重点考察： - 数据建模和 ETL 经验 - 大数据处理能力（ Spark 、 Hadoop ） - 实时数据处理（ Kafka 、 Flink ） - 数据仓库和数据湖经验 - 系统设计能力 - 实际项目经验

Q5: 如何证明自己的能力¶

A: 可以通过以下方式证明： - 完成实战项目并开源 - 获得相关认证（如 CDP 、 Databricks ） - 参与开源项目 - 在技术社区分享经验 - 准备详细的项目案例

📊 学习进度跟踪¶

建议使用以下表格跟踪学习进度：

周次	学习内容	完成状态	实践项目
1	数据工程概述	□	□
2	数据建模	□	□
3	ETL 流程设计	□	□
4	数据仓库架构	□	□
5	数据湖技术	□	□
6	大数据处理	□	□
7	实时数据处理	□	□
8	流处理框架	□	□
9	数据管道	□	□
10	数据质量	□	□
11	数据血缘	□	□
12	数据治理	□	□
13	数据可视化	□	□
14	数据工程最佳实践	□	□
15	数据工程架构	□	□
16	实战项目开发	□	□
17	项目完善	□	□
18	面试准备与总结	□	□

🚀 下一步行动¶

准备学习环境
安装 Python 和 Jupyter Notebook
安装 Spark 和 Hadoop
准备一台配置较好的开发机
开始第一周学习
阅读 01-数据工程概述.md
动手实践环境搭建
完成第一个实践项目
加入学习社区
寻找学习伙伴
加入技术交流群
定期分享学习心得
制定个人学习计划
根据个人情况调整学习节奏
设定明确的学习目标
定期检查和调整计划

祝学习顺利！记住：实践是最好的老师，持续学习是成功的关键。