高级主题¶
本章节涵盖深度学习的前沿技术和高级研究方向，适合有一定基础后深入学习。
章节列表¶
| 章节 | 说明 |
|---|---|
| 01-模型压缩与加速 | 剪枝、量化、蒸馏等优化技术 |
| 02-自监督学习 | 无标注数据的预训练方法 |
| 03-图神经网络 | 图结构数据的深度学习 |
| 04-神经架构搜索 | 自动化网络设计 |
| 05-可解释 AI | 模型决策的可解释性 |
| 06-联邦学习 | 隐私保护的分布式学习 |
| 07-多模态学习 | 跨模态信息融合 |
| 08-强化学习基础 | RL 基本概念与算法 |
| 09-分布式训练 | 大规模模型训练技术 |
| 10-神经符号 AI 与持续学习 | 前沿研究方向 |
学习路径¶
核心领域¶
模型优化¶
- 知识蒸馏、剪枝、量化
- 推理加速与部署优化
学习范式¶
- 自监督学习、半监督学习
- 联邦学习、持续学习
架构创新¶
- 图神经网络、神经架构搜索
- 神经符号 AI
- 混合专家模型（ MoE ）：稀疏激活架构，在 DeepSeek-V2/V3 、 Mixtral 等模型中广泛应用。详见 模型优化/07-DeepSeek-R1 架构详解（含 MoE 前向路由、 Top-K 专家选择、负载均衡损失的完整实现）
学习建议¶
- 按需选择：根据研究方向选择相关主题
- 理论与实践结合：高级主题需要扎实的实践基础
- 关注论文：这些领域发展迅速，需要跟踪最新论文
- 动手实现：尝试复现核心算法加深理解
相关资源¶
- 深度学习/04-Transformer - Transformer 基础
- 深度学习/05-生成模型 - 生成模型专题
- 模型优化 - 模型优化专题
- 强化学习 - 强化学习专题