算法完整索引¶

本索引汇总了教程中涉及的所有算法和技术，便于快速查找和复习

📊 按类别索引¶

监督学习算法¶

线性模型¶

算法	章节	特点
线性回归 (Linear Regression)	02-监督学习	基础回归算法
逻辑回归 (Logistic Regression)	02-监督学习	基础分类算法
Ridge 回归	02-监督学习	L2 正则化
Lasso 回归	02-监督学习	L1 正则化，特征选择
Elastic Net	02-监督学习	L1+L2 正则化

树模型¶

算法	章节	特点
决策树 (Decision Tree)	02-监督学习	可解释性强
随机森林 (Random Forest)	02-监督学习, 12-集成学习进阶	Bagging 集成
GBDT	12-集成学习进阶	梯度提升
XGBoost	12-集成学习进阶	高效梯度提升
LightGBM	12-集成学习进阶	快速梯度提升
CatBoost	12-集成学习进阶	处理类别特征

概率模型¶

算法	章节	特点
朴素贝叶斯 (Naive Bayes)	02-监督学习	简单高效
高斯判别分析 (GDA)	15-其他监督学习算法	概率分类

实例学习¶

算法	章节	特点
K 近邻 (KNN)	02-监督学习	惰性学习
支持向量机 (SVM)	02-监督学习, 15-其他监督学习算法	核方法
SVR	15-其他监督学习算法	支持向量回归

集成方法¶

算法	章节	特点
Bagging	12-集成学习进阶	并行集成
AdaBoost	12-集成学习进阶	序列集成
Stacking	12-集成学习进阶	堆叠集成
Voting	12-集成学习进阶	投票集成

无监督学习算法¶

聚类算法¶

算法	章节	特点
K-Means	03-无监督学习	基础聚类
层次聚类	03-无监督学习, 16-聚类算法进阶	树状结构
DBSCAN	03-无监督学习, 16-聚类算法进阶	密度聚类
OPTICS	16-聚类算法进阶	处理不同密度
GMM	03-无监督学习, 16-聚类算法进阶	概率聚类
谱聚类	16-聚类算法进阶	图聚类
BIRCH	16-聚类算法进阶	大规模聚类
MiniBatchKMeans	16-聚类算法进阶	流式聚类

降维算法¶

算法	章节	特点
PCA	03-无监督学习, 13-降维与流形学习	主成分分析
核 PCA	13-降维与流形学习	非线性 PCA
LDA	13-降维与流形学习	有监督降维
NMF	13-降维与流形学习	非负矩阵分解
SVD	13-降维与流形学习	奇异值分解
t-SNE	03-无监督学习, 13-降维与流形学习	可视化
UMAP	13-降维与流形学习	快速可视化
ISOMAP	13-降维与流形学习	测地距离
LLE	13-降维与流形学习	局部线性嵌入
MDS	13-降维与流形学习	多维缩放

关联规则¶

算法	章节	特点
Apriori	15-其他监督学习算法	频繁项集挖掘

深度学习算法¶

基础架构¶

算法	章节	特点
CNN	05-深度学习	卷积神经网络
RNN	04-时序模型	循环神经网络
LSTM	04-时序模型	长短期记忆网络
GRU	04-时序模型	门控循环单元

进阶架构¶

算法	章节	特点
ResNet	09-深度学习进阶	残差网络
BatchNorm	09-深度学习进阶	批归一化
Dropout	05-深度学习	正则化
Attention	09-深度学习进阶, 18-NLP 与 Transformer 详解	注意力机制
Transformer	04-时序模型, 18-NLP 与 Transformer 详解	自注意力架构

生成模型¶

算法	章节	特点
GAN	09-深度学习进阶, 19-生成模型深度解析	生成对抗网络
DCGAN	19-生成模型深度解析	深度卷积 GAN
cGAN	19-生成模型深度解析	条件 GAN
VAE	19-生成模型深度解析	变分自编码器
扩散模型	19-生成模型深度解析	Diffusion Models
Stable Diffusion	19-生成模型深度解析	隐空间扩散
流模型 (Flow)	19-生成模型深度解析	可逆变换、精确似然
NICE	19-生成模型深度解析	非线性独立成分估计
RealNVP	19-生成模型深度解析	仿射耦合层流模型
Glow	19-生成模型深度解析	可逆 1x1 卷积
一致性模型	19-生成模型深度解析	Consistency Models
视频扩散模型	19-生成模型深度解析	时空扩散
分子生成	19-生成模型深度解析	图神经网络生成

图神经网络¶

算法	章节	特点
GCN	17-图神经网络	图卷积网络
GraphSAGE	17-图神经网络	归纳式学习
GAT	17-图神经网络	图注意力网络

现代表格数据模型¶

算法	章节	特点
TabNet	26-现代表格数据方法	注意力驱动特征选择
FT-Transformer	26-现代表格数据方法	特征分词器+Transformer
TabPFN	26-现代表格数据方法	元学习零样本预测
KAN	26-现代表格数据方法	Kolmogorov-Arnold 网络
SAINT	26-现代表格数据方法	自注意力+交叉注意力

AutoML 框架¶

框架	章节	特点
AutoGluon	26-现代表格数据方法	多层 Stacking 集成
FLAML	26-现代表格数据方法	低成本高效搜索
PyCaret	26-现代表格数据方法	高层 API 快速实验

自然语言处理¶

词嵌入¶

算法	章节	特点
Word2Vec	18-NLP 与 Transformer 详解	词向量
CBOW	18-NLP 与 Transformer 详解	连续词袋
Skip-gram	18-NLP 与 Transformer 详解	跳字模型
GloVe	18-NLP 与 Transformer 详解	全局向量
FastText	18-NLP 与 Transformer 详解	子词信息

预训练模型¶

算法	章节	特点
BERT	18-NLP 与 Transformer 详解	双向编码
GPT	18-NLP 与 Transformer 详解	生成式预训练
RoBERTa	18-NLP 与 Transformer 详解	BERT 优化
T5	18-NLP 与 Transformer 详解	Text-to-Text
BART	18-NLP 与 Transformer 详解	序列到序列

强化学习¶

算法	章节	特点
Q-Learning	10-强化学习基础	值迭代
DQN	10-强化学习基础	深度 Q 网络
Policy Gradient	10-强化学习基础	策略梯度
Actor-Critic	10-强化学习基础	演员-评论家
PPO	10-强化学习基础	近端策略优化

自监督学习¶

算法	章节	特点
SimCLR	20-自监督学习	对比学习
MoCo	20-自监督学习	动量对比
MAE	20-自监督学习	掩码自编码器
BEiT	20-自监督学习	离散表示

元学习¶

算法	章节	特点
MAML	21-元学习	模型无关元学习
Prototypical Networks	21-元学习	原型网络
Matching Networks	21-元学习	匹配网络

大语言模型¶

算法/技术	章节	特点
Transformer Decoder	22-大语言模型原理	自回归架构
自回归语言建模	22-大语言模型原理	Next Token Prediction
位置编码 (RoPE/ALiBi)	22-大语言模型原理	高级位置编码
监督微调 (SFT)	22-大语言模型原理	指令微调
RLHF	22-大语言模型原理	基于人类反馈的强化学习
DPO	22-大语言模型原理	直接偏好优化
LoRA	22-大语言模型原理	低秩适配
KV Cache	22-大语言模型原理	推理优化
量化 (INT8/INT4)	22-大语言模型原理	模型压缩
投机采样	22-大语言模型原理	推理加速

可解释 AI¶

方法	章节	特点
SHAP	23-可解释 AI 与因果推断	Shapley 值解释
LIME	23-可解释 AI 与因果推断	局部线性解释
Grad-CAM	23-可解释 AI 与因果推断	CNN 可视化
注意力可视化	23-可解释 AI 与因果推断	Transformer 解释
特征重要性	23-可解释 AI 与因果推断	全局/局部重要性

因果推断¶

方法	章节	特点
潜在结果框架	23-可解释 AI 与因果推断	Rubin 因果模型
因果图	23-可解释 AI 与因果推断	Pearl 因果图
工具变量 (IV)	23-可解释 AI 与因果推断	2SLS 估计
双重差分 (DID)	23-可解释 AI 与因果推断	面板数据分析
倾向得分匹配 (PSM)	23-可解释 AI 与因果推断	观察性研究
PC 算法	23-可解释 AI 与因果推断	因果发现

贝叶斯方法¶

算法	章节	特点
贝叶斯线性回归	14-贝叶斯方法	概率回归
高斯过程	14-贝叶斯方法	非参数方法
变分推断	14-贝叶斯方法	近似推断
贝叶斯优化	14-贝叶斯方法	黑盒优化

🔤 按字母索引¶

A¶

AdaBoost - 12-集成学习进阶
Apriori - 15-其他监督学习算法
Attention - 09-深度学习进阶, 18-NLP 与 Transformer 详解
Actor-Critic - 10-强化学习基础
AutoGluon - 26-现代表格数据方法

B¶

Bagging - 12-集成学习进阶
BatchNorm - 09-深度学习进阶
BART - 18-NLP 与 Transformer 详解
BERT - 18-NLP 与 Transformer 详解
BEiT - 20-自监督学习
BIRCH - 16-聚类算法进阶
贝叶斯优化 - 14-贝叶斯方法
贝叶斯线性回归 - 14-贝叶斯方法

C¶

CatBoost - 12-集成学习进阶
CBOW - 18-NLP 与 Transformer 详解
CNN - 05-深度学习
cGAN - 19-生成模型深度解析
Consistency Models - 19-生成模型深度解析

D¶

DBSCAN - 03-无监督学习, 16-聚类算法进阶
DCGAN - 19-生成模型深度解析
DPO - 22-大语言模型原理
决策树 - 02-监督学习
扩散模型 - 19-生成模型深度解析
Dropout - 05-深度学习
DQN - 10-强化学习基础
DID (双重差分) - 23-可解释 AI 与因果推断

E¶

Elastic Net - 02-监督学习

F¶

FastText - 18-NLP 与 Transformer 详解
FLAML - 26-现代表格数据方法
Flow (流模型) - 19-生成模型深度解析
FT-Transformer - 26-现代表格数据方法

G¶

GAN - 09-深度学习进阶, 19-生成模型深度解析
GAT - 17-图神经网络
GCN - 17-图神经网络
GDA - 15-其他监督学习算法
GBDT - 12-集成学习进阶
Glow - 19-生成模型深度解析
GloVe - 18-NLP 与 Transformer 详解
GMM - 03-无监督学习, 16-聚类算法进阶
GP (高斯过程) - 14-贝叶斯方法
Grad-CAM - 23-可解释 AI 与因果推断
GRU - 04-时序模型
GraphSAGE - 17-图神经网络

H¶

层次聚类 - 03-无监督学习, 16-聚类算法进阶

I¶

ISOMAP - 13-降维与流形学习

K¶

K-Means - 03-无监督学习
KAN - 26-现代表格数据方法
KNN - 02-监督学习
核 PCA - 13-降维与流形学习

L¶

Lasso - 02-监督学习
LDA - 13-降维与流形学习
LightGBM - 12-集成学习进阶
LIME - 23-可解释 AI 与因果推断
LLE - 13-降维与流形学习
LoRA - 22-大语言模型原理
逻辑回归 - 02-监督学习
LSTM - 04-时序模型
线性回归 - 02-监督学习

M¶

MAML - 21-元学习
MAE - 20-自监督学习
MDS - 13-降维与流形学习
MiniBatchKMeans - 16-聚类算法进阶
MoCo - 20-自监督学习
朴素贝叶斯 - 02-监督学习

N¶

NICE - 19-生成模型深度解析
NMF - 13-降维与流形学习

O¶

OPTICS - 16-聚类算法进阶

P¶

PCA - 03-无监督学习, 13-降维与流形学习
Policy Gradient - 10-强化学习基础
PPO - 10-强化学习基础
Prototypical Networks - 21-元学习

Q¶

Q-Learning - 10-强化学习基础

R¶

Random Forest - 02-监督学习, 12-集成学习进阶
RealNVP - 19-生成模型深度解析
ResNet - 09-深度学习进阶
Ridge - 02-监督学习
RLHF - 22-大语言模型原理
RoPE - 22-大语言模型原理
RNN - 04-时序模型
RoBERTa - 18-NLP 与 Transformer 详解

S¶

SAINT - 26-现代表格数据方法
SHAP - 23-可解释 AI 与因果推断
SimCLR - 20-自监督学习
Skip-gram - 18-NLP 与 Transformer 详解
SFT (监督微调) - 22-大语言模型原理
SVD - 13-降维与流形学习
SVM - 02-监督学习, 15-其他监督学习算法
SVR - 15-其他监督学习算法
Stable Diffusion - 19-生成模型深度解析
Stacking - 12-集成学习进阶
随机森林 - 02-监督学习, 12-集成学习进阶
谱聚类 - 16-聚类算法进阶

T¶

T5 - 18-NLP 与 Transformer 详解
TabNet - 26-现代表格数据方法
TabPFN - 26-现代表格数据方法
Transformer - 04-时序模型, 18-NLP 与 Transformer 详解
t-SNE - 03-无监督学习, 13-降维与流形学习

U¶

UMAP - 13-降维与流形学习

V¶

VAE - 19-生成模型深度解析
变分推断 - 14-贝叶斯方法
Voting - 12-集成学习进阶

X¶

XGBoost - 12-集成学习进阶

📈 算法选择速查表¶

分类问题¶

场景	推荐算法
小数据集	TabPFN 、朴素贝叶斯、 SVM 、 KNN
大数据集	随机森林、 XGBoost 、 LightGBM 、 AutoGluon
需要解释性	决策树、逻辑回归、 TabNet 、 KAN
需要概率输出	逻辑回归、朴素贝叶斯
非线性关系	随机森林、 XGBoost 、神经网络
表格数据最高精度	AutoGluon 、 FT-Transformer
文本分类	朴素贝叶斯、 BERT
图像分类	CNN 、 ResNet

回归问题¶

场景	推荐算法
线性关系	线性回归、 Ridge 、 Lasso
非线性关系	随机森林、 XGBoost 、神经网络
需要不确定性	贝叶斯线性回归、高斯过程

聚类问题¶

场景	推荐算法
球形簇	K-Means 、 GMM
任意形状	DBSCAN 、谱聚类
不同密度	OPTICS 、谱聚类
大规模数据	MiniBatchKMeans 、 BIRCH
需要层次结构	层次聚类

降维问题¶

场景	推荐算法
线性降维	PCA 、 LDA
非线性降维	t-SNE 、 UMAP
可视化	UMAP 、 t-SNE

🎯 学习路径推荐¶

初学者路径¶

线性回归 → 逻辑回归 → 决策树
K-Means → PCA
CNN 基础 → RNN 基础

进阶者路径¶

随机森林 → XGBoost → LightGBM
BERT → GPT
GAN → VAE → 扩散模型

研究者路径¶

Transformer → BERT/GPT → 大语言模型
GCN → GAT → GraphSAGE
SimCLR → MAE → 元学习
可解释 AI → 因果推断

新增章节： 22-大语言模型原理, 23-可解释 AI 与因果推断, 24-数学基础进阶, 25-核心理论, 26-现代表格数据方法