AI概念

AI 入门速查手册

—— 按类别提炼的 50 个“必须知道”概念

一、总览

1. 人工智能（AI）
2. 机器学习（ML）
3. 深度学习（DL）
4. 数据科学（Data Science）

二、数据 5. 数据集（Dataset）
6. 训练集 / 验证集 / 测试集（Train/Val/Test Split）
7. 特征（Feature）
8. 标签（Label）
9. 数据清洗（Data Cleaning）
10. 归一化 / 标准化（Normalization / Standardization）

三、机器学习范式 11. 监督学习（Supervised Learning）
12. 无监督学习（Unsupervised Learning）
13. 半监督学习（Semi-supervised Learning）
14. 强化学习（Reinforcement Learning）
15. 迁移学习（Transfer Learning）
16. 联邦学习（Federated Learning）

四、经典算法 17. 线性回归（Linear Regression）
18. 逻辑回归（Logistic Regression）
19. 决策树（Decision Tree）
20. 随机森林（Random Forest）
21. 支持向量机（SVM）
22. K-均值聚类（K-Means）
23. 主成分分析（PCA）

五、深度学习核心 24. 人工神经网络（ANN）
25. 神经元 / 激活函数（Neuron / Activation Function）
26. 反向传播（Backpropagation）
27. 梯度下降（Gradient Descent）
28. 学习率（Learning Rate）
29. 卷积神经网络（CNN）
30. 循环神经网络 / 长短期记忆（RNN / LSTM）
31. Transformer
32. 预训练模型（Pre-trained Model）
33. 大语言模型（LLM）

六、模型评估与优化 34. 损失函数（Loss Function）
35. 准确率 / 精确率 / 召回率 / F1 分数（Accuracy, Precision, Recall, F1）
36. 过拟合 / 欠拟合（Overfitting / Underfitting）
37. 正则化（Regularization）
38. 交叉验证（Cross-validation）
39. 超参数（Hyperparameter）

七、工程与部署 40. 特征工程（Feature Engineering）
41. 训练 / 推理（Training / Inference）
42. 模型压缩（Pruning, Quantization, Distillation）
43. MLOps（机器学习运维）
44. API 推理服务（Model Serving）
45. 边缘 AI / 端侧部署（Edge AI）

八、伦理与安全 46. AI 伦理（AI Ethics）
47. 可解释性（Explainability / XAI）
48. 数据隐私（Data Privacy）
49. 模型偏见（Bias & Fairness）
50. AI 安全与对齐（AI Safety & Alignment）

使用建议
• 先通读一遍，对陌生词做 1-2 分钟“速查”，形成索引。
• 每学完一个概念，回到此处打勾，逐步把点连成网。

AI 应用开发速查手册

—— 50 个「从 0 到 1 上线」最关键的开发概念
（按开发流程阶段归类，可直接当 Checklist 用）

一、需求与场景

1. 业务 KPI（Business Metric）
2. 用户故事（User Story）
3. 可行性评估（Feasibility Study）
4. 成本-收益模型（ROI Model）

二、数据工程 5. 数据采集（Data Acquisition）
6. ETL / ELT 管道（Extract-Transform-Load）
7. 数据标注（Data Labeling）
8. 主动学习（Active Learning）
9. 数据版本管理（DVC / Data Versioning）
10. 特征存储（Feature Store）
11. 数据漂移检测（Data Drift Detection）

三、模型开发 12. 模型选择（Model Selection）
13. 预训练权重（Pre-trained Weights）
14. 微调 / 全参微调（Fine-tuning / Full Fine-tuning）
15. 参数高效微调（PEFT：LoRA / Adapter / Prompt Tuning）
16. Prompt Engineering（提示工程）
17. 多模态融合（Multimodal Fusion）
18. 实验跟踪（Experiment Tracking：MLflow, Weights & Biases）

四、训练与加速 19. GPU / TPU / NPU 选型
20. 分布式训练（Distributed Training：DDP / Horovod）
21. 混合精度训练（Mixed Precision）
22. 梯度累积（Gradient Accumulation）
23. 检查点（Checkpointing）
24. 早停（Early Stopping）

五、评估与调优 25. 在线 A/B Test
26. 离线指标 vs. 在线指标
27. 模型可解释性工具（SHAP, LIME）
28. 超参数搜索（HPO：Grid / Random / Bayesian / Optuna）

六、打包与部署 29. 模型格式（ONNX / TorchScript / SavedModel / GGUF）
30. 容器化（Docker）
31. 镜像仓库（Registry：DockerHub / Harbor）
32. REST / gRPC 推理服务
33. 批推理 vs. 流推理（Batch vs. Streaming Inference）
34. Serverless 推理（AWS Lambda / Cloud Functions）
35. 模型热更新（Hot Reload）

七、服务治理与监控 36. 服务网格（Service Mesh：Istio / Linkerd）
37. 自动扩缩容（Auto-scaling：HPA / KEDA）
38. 日志聚合（ELK / Loki）
39. 指标监控（Prometheus + Grafana）
40. 延迟 / 吞吐 / 利用率（Latency / Throughput / Utilization）
41. 模型性能监控（Model Performance Monitoring）
42. 数据 & 概念漂移监控（Drift Monitoring）

八、安全与合规 43. 推理端攻击（Adversarial Attack & Defense）
44. 模型水印（Model Watermarking）
45. 差分隐私（Differential Privacy）
46. 联邦学习安全（Secure Aggregation）
47. 合规审计（GDPR / 国密 / 等保）

九、成本与优化 48. 计算成本核算（Cost Modeling）
49. 模型压缩（量化、剪枝、蒸馏）
50. 边缘部署优化（Edge Compilation：TensorRT, TFLite, CoreML）

使用方式

1. 开发新功能时，按阶段逐条打钩，确保不遗漏关键环节。
2. 将本表贴进项目 README，PR 评审时作为 Checklist 快速对齐。

大语言模型（LLM）核心概念速查表

——50 个从「词向量」到「AGI 对齐」的关键知识点
（按技术栈深度递进，可直接当学习路线）

一、基础语义表示

1. Token / Sub-word（BPE、SentencePiece）
2. Embedding（Word2Vec → Contextual Embedding）
3. 位置编码（Positional Encoding、RoPE、ALiBi）
4. 注意力机制（Attention、Self-Attention、Multi-Head Attention）
5. 掩码策略（Causal Mask、Span Mask、Prefix Mask）

二、Transformer 架构
6. Encoder-Only（BERT 系）
7. Decoder-Only（GPT 系）
8. Encoder-Decoder（T5、BART）
9. Layer Norm / RMS Norm
10. 残差连接（Residual Connection）
11. Feed-Forward Network（FFN、SwiGLU 变体）

三、预训练阶段
12. 预训练目标（Next-Token Prediction、Masked LM、UL2）
13. 语料配比（Common Crawl、书籍、代码、学术）
14. 数据清洗（去重、过滤、PII 脱敏）
15. Tokenizer 训练
16. 词汇表大小（Vocab Size）
17. 预训练规模指标（Params、FLOPs、Tokens、Chinchilla Law）

四、高效训练技术
18. 分布式框架（Megatron-LM、DeepSpeed、FSDP）
19. 3D 并行（Data / Tensor / Pipeline Parallel）
20. 激活检查点（Activation Checkpointing）
21. FlashAttention（IO-Aware Attention）
22. ZeRO-Offload / ZeRO-Infinity
23. 混合精度（FP16 / BF16 / FP8）
24. 训练稳定性技巧（Grad Clip、Warmup、μP）

五、微调范式
25. 指令微调（Instruction Tuning）
26. 对话微调（Conversation Tuning）
27. 参数高效微调（LoRA、QLoRA、AdaLoRA）
28. RLHF（人类反馈强化学习）
29. PPO / DPO / R-DPO
30. Constitutional AI（自我批评-修正）

六、Prompt & 推理技巧
31. Prompt Engineering（Zero-shot / Few-shot / CoT / ToT）
32. In-Context Learning（ICL）
33. 系统提示（System Prompt）
34. 温度 / Top-k / Top-p（Sampling）
35. 最大长度 / 上下文窗口（Context Window）
36. KV-Cache / 滑动窗口 KV-Cache
37. 投机解码（Speculative Decoding）

七、评估与对齐
38. Benchmark（MMLU、HumanEval、C-Eval、MT-Bench）
39. 幻觉（Hallucination）
40. 事实性检测（Fact-checking、RAG）
41. 毒性 / 偏见评估（Toxicity、Bias）
42. 对齐指标（Helpful、Harmless、Honest）
43. 红队测试（Red-Teaming）

八、压缩与部署
44. 量化（INT8 / INT4 / GPTQ / AWQ / NF4）
45. 剪枝（Sparse GPT、Wanda）
46. 蒸馏（MiniLLM、GKD）
47. 服务框架（vLLM、TGI、TensorRT-LLM）
48. 推理优化（PagedAttention、Continuous Batching）
49. Function Calling / Tool-use API
50. 边缘部署（LLM-on-mobile、MNN-LLM、CoreML）

使用路线图
Step-1 1-11：吃透 Transformer 基础
Step-2 12-24：跑通一次 7B 模型的预训练 / 微调实验
Step-3 25-37：给模型“加技能”——指令微调 + RLHF
Step-4 38-43：上线前做 Benchmark & 安全评估
Step-5 44-50：量化-压缩-部署，真正落地到产品

AI Agent 全景概念速查表

——50 个从「单 Agent 感知」到「多 Agent 协作生态」的关键名词
（按 Agent 生命周期与系统层级归类，可直接当架构 Checklist）

一、Agent 本质与范式

1. Agent（智能体）
2. 自主代理（Autonomous Agent）
3. 基于大模型的 Agent（LLM-based Agent）
4. 符号 Agent（Symbolic Agent）
5. 反应式 Agent（Reactive Agent）
6. 认知 Agent（Cognitive / Deliberative Agent）
7. 混合范式（Hybrid Agent）

二、核心能力模块
8. 感知（Perception / Observation Space）
9. 行动（Action Space）
10. 状态（State）
11. 记忆（Memory：短期 / 长期）
12. 记忆检索（Memory Retrieval：向量库、RAG）
13. 规划（Planning：任务分解、子目标生成）
14. 推理（Reasoning：CoT、ToT、Reflexion）
15. 工具调用（Tool Use / Function Calling）
16. 多模态感知（跨文本、视觉、音频）
17. 自我反思（Self-reflection / Self-critique）
18. 元认知（Meta-cognition：监控自身置信度）

三、规划与控制
19. 任务规划（Task Planning）
20. 层次化规划（Hierarchical Planning）
21. 经典规划器（PDDL、Fast Downward）
22. 强化学习规划（RL-based Planning）
23. 少样本规划（Few-shot Planning with LLM）
24. 思维链（Chain-of-Thought, CoT）
25. 思维树（Tree-of-Thought, ToT）
26. 思维图（Graph-of-Thought, GoT）
27. ReAct（Reason+Act）
28. Reflexion（自我回溯改进）

四、记忆与知识
29. 外部记忆（External Memory：向量数据库、知识图谱）
30. 向量检索（Vector Search / ANN）
31. 记忆增强（Memory Augmentation）
32. 情景记忆（Episodic Memory）
33. 语义记忆（Semantic Memory）
34. 参数记忆 vs. 非参数记忆（Parametric vs. Non-parametric）

五、工具与环境交互
35. 工具注册（Tool Registry）
36. API 调用（API Call / Web Browsing）
37. 代码执行沙箱（Code Interpreter Sandbox）
38. 物理环境交互（Embodied Agent：机械臂、机器人）
39. 模拟环境（Simulation Environment：Gym、Minecraft）

六、单 Agent 框架
40. AutoGPT
41. BabyAGI
42. LangChain Agent
43. CrewAI 单 Agent 模式
44. LlamaIndex Agent

七、多 Agent 系统
45. 多 Agent 协作（Multi-Agent Collaboration）
46. 角色扮演（Role-playing Agents）
47. 辩论式推理（Debate & Consistency Checking）
48. 任务拍卖 / 市场机制（Task Auction / Consensus）
49. 群体智能（Swarm Intelligence）
50. 分布式 Agent 网络（Distributed Agent Mesh）

使用方式

1. 需求梳理：先看 1-7 确定 Agent 范式。
2. 架构设计：按 8-18 的模块列表填空，缺啥补啥。
3. 开发落地：对照 19-44 选算法 / 框架 / SDK。
4. 系统扩展：如需多 Agent，用 45-50 做协作层设计。

RAG（Retrieval-Augmented Generation）核心知识点速查表

——40 个从「原始语料」到「生产级检索-生成系统」的关键概念
按「数据-索引-检索-生成-评估-运维」6 大阶段分层，可直接当实施 Checklist

一、数据与语料

1. 原始语料（Raw Corpus）
2. 文档切片（Chunking：固定长度 / 语义 / 递归 / 滑动窗口）
3. 元数据（Metadata：标题、时间、作者、URL、权限）
4. 数据清洗（去噪、去重、PII 脱敏）
5. 增量更新（Incremental Ingestion / CDC）
6. 多模态语料（文本、表格、图片、音频、视频）

二、索引与存储
7. Embedding 模型（BERT 系、E5、BGE、OpenAI text-embedding-3-small/large）
8. 向量数据库（Pinecone、Weaviate、Milvus、Qdrant、Chroma、PGVector）
9. ANN 算法（HNSW、IVF、DiskANN、ScaNN）
10. 双层检索（Dense + Sparse：向量 + BM25 / SPLADE）
11. 混合检索权重融合（Reciprocal Rank Fusion, RRF）
12. 层级索引（Hierarchical Navigable Small World）
13. 标量过滤（Scalar Filtering：时间范围、权限标签）
14. 多租户隔离（Namespace / Partition）

三、检索阶段
15. Top-K / 阈值检索（Top-K & Score Thresholding）
16. 重排序（Re-ranker：ColBERT、Cross-Encoder、Cohere Rerank）
17. 多轮对话检索（Session Context Retrieval）
18. 查询重写（Query Rewriting：HyDE、Query Expansion）
19. 假设性文档嵌入（HyDE：Hypothetical Document Embedding）
20. 多模态检索（CLIP、BLIP 向量化图片 / 视频）

四、生成阶段
21. 上下文拼接策略（Context Packing & Truncation）
22. 提示模板（Prompt Template & Few-shot Examples）
23. 系统提示（System Prompt：角色、工具、规则）
24. 来源标注（Citation / Source Attribution）
25. 空检索兜底（No-retrieval Fallback：纯 LLM 生成）
26. 长上下文模型（Long-context LLM：32k–2M tokens）

五、高级增强技术
27. 检索-生成链（Retrieval → LLM → Answer）
28. 迭代式 RAG（Iterative RAG：Retrieve → Generate → Retrieve）
29. Self-RAG（自我判断何时检索）
30. Corrective RAG（反思-修正错误片段）
31. GraphRAG（知识图谱 + 向量检索）
32. Agentic RAG（Agent 动态规划检索与工具调用）

六、评估与指标
33. 检索指标（Recall@K、MRR、nDCG、Hit Rate）
34. 生成指标（BLEU、ROUGE、BERTScore、Faithfulness）
35. 端到端指标（Answer Correctness / Answer Similarity）
36. 人工评估（Human Evaluation：事实性、安全性、可读性）
37. 对抗测试（Adversarial Retrieval & Hallucination Probe）

七、运维与生产
38. 在线监控（Latency、Throughput、Recall Drop、Drift）
39. 缓存策略（Cache Hit、Semantic Cache、Redis / CDN）
40. 成本优化（Embedding Batch、量化、索引压缩、冷热分层）

使用流程
① 数据 → ② 切片+清洗 → ③ Embedding → ④ 向量库建索引 → ⑤ 检索+重排 → ⑥ 拼接上下文 → ⑦ LLM 生成 → ⑧ 评估 → ⑨ 上线监控 → ⑩ 持续迭代

AI 领域「大方向」全景地图

——面向宏观学习与职业规划的 12 条主干道
（按“算法-系统-应用-交叉”四象限梳理，每条方向再附 2-3 个关键词，方便快速检索）

1. 机器学习基础理论与算法
   关键词：统计学习、优化理论、PAC 可学习性、元学习

2. 深度学习与表示学习
   关键词：神经网络、Transformer、图神经网络、扩散模型

3. 自然语言处理（NLP）
   关键词：大语言模型、对话系统、机器翻译、检索增强

4. 计算机视觉（CV）
   关键词：目标检测、生成式视觉、3D 重建、多模态理解

5. 语音与音频智能
   关键词：语音识别、语音合成、声纹识别、音频事件检测

6. 机器人学与具身智能
   关键词：运动规划、操作学习、仿真到现实、人-机协作

7. 强化学习与决策智能
   关键词：策略梯度、多智能体、在线学习、游戏 AI

8. 知识表示与推理
   关键词：知识图谱、符号推理、因果推断、神经-符号融合

9. AI 系统与工程
   关键词：分布式训练、推理优化、MLOps、边缘计算

10. AI 安全与对齐
    关键词：可解释性、对抗攻击、红队测试、价值对齐

11. AI+ 交叉学科
    关键词：AI+医疗、AI+金融、AI+教育、AI+气候科学

12. AI 伦理、法律与政策
    关键词：公平性、隐私合规、监管框架、AI 治理

使用提示
• 研究生选方向：先锁定 1-2 条主干道，再细化到关键词对应的课题组或企业团队。
• 职场新人：把 12 条方向当“技术雷达”，每半年更新一次，跟踪前沿会议（NeurIPS、ICML、CVPR、ACL、ICRA、KDD 等）。

多模态大语言模型（MLLM）关键知识点清单

——从“视觉-语言对齐”到“高效压缩部署”的 45 个核心要点
按“数据-架构-训练-推理-评估-压缩-应用”7 大阶段整理，可直接作研发 Checklist

1. 数据与表示

2. 多模态语料：图文对、视频-文本、音频-文本、医疗影像-报告等

3. Tokenizer：统一文本 token + 视觉 patch token（ViT-style）

4. 图像预处理：保持原图长宽比不损失性能且省显存

5. 视觉 token 压缩：Perceiver Resampler 729→64 token，提速不降效

6. 高分辨率策略：图像切分（image splitting），OCR/文档任务显著受益

7. 架构设计

8. 视觉编码器：ViT、CLIP-ViT-H、EVA-CLIP-5B、SigLIP-SO400M

9. 语言模型骨干：LLaMA、Mistral、PaLM-540B 等

10. 典型架构
      8a. Decoder-only 拼接：视觉 token 直接 prepend 到文本（Fully Autoregressive, FA）
      8b. Cross-Attention：在 LLM 层间插入 cross-attention（CA）
      8c. Encoder-Decoder：T5-style，用于图生文、文生图

11. 统一嵌入空间：视觉/文本/音频经 Projector 映射到同一维度

12. 位置编码：RoPE、2-D 绝对位置编码适配图像 patch

13. 训练策略

14. 预训练任务：图文对比、掩码语言建模、下一 token 预测

15. 训练顺序：视觉-语言对齐预训练 → 指令微调 → RLHF

16. 参数冻结策略
      • 冻结视觉+LLM：CA 架构更稳定
      • LoRA 微调 LLM：FA 架构性能反超，需 LoRA 抑制发散

17. 混合精度：FP16/BF16/FP8 + 梯度检查点

18. 数据配比：图文 1:1 → 加入 OCR、视频、纯文本提升泛化

19. 推理优化

20. KV-Cache 共享：跨模态 token 复用缓存

21. 投机解码：利用轻量级视觉-语言草稿模型加速

22. 连续批处理（Continuous Batching）提升吞吐

23. 动态分辨率：推理时按需切图，避免统一 768×768 浪费算力

24. 评估与鲁棒性

25. 基准：MMBench、MME、SEED-Bench、MMMU、MathVista

26. 指标：图文一致性、跨模态检索 Recall@K、CIDEr、BLEURT

27. 对抗鲁棒性：跨模态对抗样本、输入扰动稳健性

28. 缺失模态处理：Graceful Degradation & 不确定性估计

29. 可解释：Cross-modal Attention Map、Grad-CAM for MLLM

30. 压缩与高效部署

31. 结构剪枝：层剪 vs. 宽度剪，后者低资源下更稳

32. 知识蒸馏：隐藏状态蒸馏 + 指令微调 5 % 数据可恢复 95 % 性能

33. 量化：INT8/INT4 GPTQ、AWQ，优先压缩语言骨干

34. 小型化路线：SLM→MLLM 蒸馏或直接压缩现有 MLLM

35. 前沿研究方向

36. 任意分辨率 ViT（NaViT、FlexiViT）

37. 视频-语言 MLLM：时间对齐、长序列记忆

38. 音频-文本-视觉三模态统一模型（next-token over audio spectrogram）

39. 流匹配非自回归 MLLM（FUDOKI）提升双向上下文与迭代细化

40. 具身 MLLM：PaLM-E 融合机器人状态向量，实现零样本链式推理

41. 典型应用

42. 医疗诊断：影像+报告联合分析

43. 文档 OCR & 理解：Layout-aware MLLM

44. 内容创作：图文混合生成、自动 PPT

45. 电商：商品图+描述多模态推荐

46. 自动驾驶：摄像头+语言指令场景理解

使用提示
• 先选架构：冻结主干→用 CA；微调→FA+LoRA
• 显存紧张：先压缩 visual token（Perceiver）再剪枝/量化
• 上线前跑 MMBench + 对抗鲁棒性测试，确保跨模态一致性

AI 编程（MLOps & LLM 工程化）知识速查表

——从「一行脚本」到「万卡集群」的 50 个必会技术点
按「语言-框架-数据-训练-部署-监控-安全」7 大维度梳理，可直接当 roadmap / checklist。

1. 编程语言

2. Python（NumPy / Pandas）

3. C++（CUDA 内核、PyTorch C++ Frontend）

4. Rust（高并发推理服务、Burn.rs）

5. Julia（科学计算、Flux.jl）

6. 深度学习框架

7. PyTorch（动态图、DDP、TorchScript）

8. TensorFlow 2.x（Keras、SavedModel、TPU Strategy）

9. JAX（函数式自动微分、XLA 编译、pjit）

10. MindSpore（国产昇腾原生）

11. ONNX（跨框架 IR）

12. 数据处理与特征工程

13. DVC / Pachyderm（数据版本）

14. Apache Airflow / Prefect（ETL 流水线）

15. Hugging Face Datasets（流式加载、内存映射）

16. Polars / DuckDB（超大数据框 SQL 式处理）

17. 训练与调参

18. Lightning / Accelerate（高阶封装，零代码分布式）

19. DeepSpeed ZeRO（显存优化、CPU offload）

20. Hugging Face Trainer（集成 LoRA、DeepSpeed）

21. Weights & Biases / MLflow（实验跟踪、超参搜索）

22. Optuna / Ray Tune（HPO）

23. Flash Attention 2（训练加速库）

24. Colossal-AI（并行 + 异构训练）

25. 模型压缩与推理优化

26. Torch.compile / tf.function（图优化）

27. TensorRT / TensorRT-LLM（GPU 推理）

28. ONNX Runtime（跨平台推理）

29. OpenVINO（Intel CPU/GPU）

30. llama.cpp / GGML（CPU 量化推理）

31. AWQ / GPTQ / NF4（权重量化脚本）

32. 服务化与部署

33. FastAPI（轻量级 REST）

34. gRPC（高吞吐、流式）

35. BentoML / Seldon Core（模型服务封装）

36. Docker & Kubernetes（容器编排）

37. KubeRay / KServe（云原生自动扩缩容）

38. vLLM / TGI（高并发 LLM 推理服务）

39. Serverless（AWS Lambda + Container Image）

40. MLOps / LLMOps

41. CI/CD：GitHub Actions + Argo CD

42. 模型注册中心：MLflow Model Registry / Vertex AI Model Registry

43. Feature Store：Feast / Vertex AI Feature Store

44. Prompt 版本管理：LangSmith / Langfuse

45. 在线监控：Prometheus + Grafana（延迟、GPU 利用率、幻觉率）

46. 数据漂移检测：Evidently AI / WhyLabs

47. 安全与治理

48. 模型签名 & 校验：Sigstore Cosign

49. 对抗测试：TextAttack / CleverHans

50. 隐私计算：联邦学习 Flower、差分隐私 Opacus

51. 可解释：SHAP for LLM、LangChain Debugger

52. 边缘与移动

53. TensorFlow Lite / PyTorch Mobile

54. CoreML / MLX（Apple Silicon 原生）

55. ONNX Runtime Web（浏览器 WebGPU 推理）

56. 代码生成与辅助

57. GitHub Copilot / Code Llama

58. 单元测试生成：pytest-Copilot、PyTest-LLM

59. 文档自动生成：Sphinx + LLM Plugin

60. 新兴范式

61. 提示即代码（Prompt-as-Code）：LangChain Templates、DSPy

使用路线

1. 本地原型：Python + PyTorch + Jupyter → 2. 小规模训练：Lightning + W&B → 3. 分布式：DeepSpeed + K8s → 4. 部署：Docker + FastAPI → 5. 监控：Prometheus + Evidently → 6. 安全：Sigstore + SHAP

NLP 自然语言处理「一站式」知识点速查表

——从「字符编码」到「大模型对齐」的 55 个核心概念
按「基础-任务-模型-工程-前沿」五大层级递进，可直接当学习/面试/研发 Checklist。

一、基础与预处理

1. 字符编码：UTF-8、BPE、SentencePiece、WordPiece
2. 正则与清洗：HTML 标签、Emoji、标点归一化
3. 分词算法：最大匹配、HMM、CRF、Unigram LM
4. 子词切分：BPE、BBPE、WordPiece、ULM、SentencePiece
5. 词干/词形还原：Porter、Snowball、Lancaster
6. 停用词表与动态停用词
7. 词袋 & TF-IDF 向量化
8. 语言识别 & 编码检测：langdetect、fastText langid

二、经典任务与评测
9. 文本分类：情感分析、主题分类、多标签
10. 序列标注：NER、POS、Chunking、中文分词
11. 句法分析：依存句法、短语结构、成分树
12. 语义角色标注（SRL）
13. 语义解析：AMR、SQL 生成、逻辑形式
14. 机器翻译：BLEU、COMET、chrF++
15. 文本摘要：抽取式、生成式、Rouge-1/2/L
16. 阅读理解：SQuAD、DROP、MultiRC
17. 问答系统：KBQA、IRQA、开放域 QA
18. 对话系统：任务型、闲聊、多轮 DST
19. 信息检索：BM25、向量检索、召回-重排
20. 文本匹配：STS、语义相似度、自然语言推断（NLI）

三、模型与算法
21. 统计模型：n-gram LM、Kneser-Ney 平滑
22. 传统机器学习：朴素贝叶斯、SVM、CRF、MaxEnt
23. 神经网络：CNN、RNN、LSTM、GRU、Seq2Seq
24. 注意力机制：Self-Attention、Multi-Head、Transformer
25. 预训练范式：BERT（MLM）、GPT（CLM）、T5（Text-to-Text）
26. 中文预训练：MacBERT、RoBERTa-wwm、CPT、mT5
27. 大语言模型：LLaMA、ChatGLM、Baichuan、Qwen
28. 提示工程：Zero-shot、Few-shot、CoT、ToT、ReAct
29. 微调技术：LoRA、QLoRA、Prefix Tuning、P-Tuning v2
30. 强化学习对齐：RLHF、DPO、R-DPO、Constitutional AI
31. 知识增强：RAG、检索器（DPR、ColBERT）、知识图谱注入
32. 多模态 NLP：Vision-Language、Audio-Language、LayoutLM
33. 低资源 & 跨语言：mBERT、XLM-R、Adapter、BitFit
34. 模型压缩：量化（INT8/INT4）、剪枝、蒸馏、Early Exit

四、工程与 MLOps
35. 数据集构建：标注平台、主动学习、弱监督、数据增强
36. 训练框架：Transformers、DeepSpeed、Megatron-LM、FairScale
37. 特征工程：词向量（Word2Vec、FastText）、上下文向量（BERT embedding）
38. 服务化：FastAPI、TorchServe、ONNX Runtime、vLLM
39. 监控与评估：Perplexity、BLEURT、BERTScore、LLMEval
40. 安全与伦理：毒性检测、偏见测试、隐私（联邦学习、差分隐私）

五、前沿与交叉
41. 长上下文：RoPE Scaling、LongLoRA、StreamingLLM
42. 工具调用：Function Calling、Code Interpreter、API 插件
43. 代码 NLP：CodeBERT、CodeT5、Codex、Code Llama
44. 可解释 NLP：Attention Heatmap、LIME、SHAP for Transformer
45. 因果 NLP：因果推断、反事实生成、Confounder Control
46. 对话式搜索：Conversational Search、WebGPT、Search-in-the-Loop
47. 情感-认知：Emotion Recognition、Theory-of-Mind QA
48. 生成式评估：G-Eval、PandaLM、LLM-as-a-Judge
49. 联邦 NLP：FedAvg、FedProx、Flower、Vertical Federated Learning
50. 持续学习：Replay、EWC、AdapterFusion、PEFT Continual Tuning
51. Prompt-as-Code：DSPy、LangChain Templates
52. 神经符号推理：Logic-LM、NeuroSAT
53. 语义解析-执行：Text-to-SQL、Text-to-Python、Binder
54. 多轮对话状态跟踪：DST、DSTC 系列数据集
55. AI 写作与创意：Story Generation、Poetry、Marketing Copy

使用路线
Step 1：1-10 打基础，掌握任务与评测
Step 2：21-34 深度掌握模型与微调
Step 3：35-45 构建端到端工程系统
Step 4：46-55 跟踪前沿研究，持续迭代

计算机视觉（CV）全景知识速查表

——从「像素」到「世界模型」的 60 个核心概念
按「基础-任务-模型-数据-3D-生成-部署-前沿」八大模块分层，可直接当学习/项目 Checklist。

一、基础与预处理

1. 图像表示：RGB、HSV、LAB、YUV、RAW
2. 像素操作：滤波（高斯、中值、双边）、直方图均衡、形态学
3. 几何变换：仿射、透视、极坐标变换、图像配准
4. 颜色空间与 gamma 校正
5. 图像增强：翻转、旋转、MixUp、CutMix、RandAugment
6. 数据格式：JPEG、PNG、TIFF、OpenEXR、WebP、AVIF

二、经典特征与检测
7. 手工特征：SIFT、SURF、ORB、HOG、LBP
8. 边缘检测：Canny、Sobel、Laplacian
9. 角点检测：Harris、Shi-Tomasi、FAST
10. 图像分割传统算法：分水岭、Grabcut、Graph-Cut

三、深度学习模型
11. CNN 基础：卷积、池化、BatchNorm、残差、分组卷积
12. Backbone：LeNet → AlexNet → VGG → ResNet → DenseNet → ConvNeXt
13. 轻量级网络：MobileNet、ShuffleNet、EfficientNet、GhostNet
14. 注意力机制：SE、CBAM、Non-local、Self-Attention、ViT
15. Vision Transformer：ViT、DeiT、Swin、PVT、CSWin、Hiera
16. 多尺度：FPN、NAS-FPN、BiFPN、HRNet
17. 专用算子：Depthwise、Deformable Convolution、Dynamic Conv

四、核心任务
18. 图像分类：ImageNet、细粒度、零样本、长尾分布
19. 目标检测：R-CNN 系列、YOLO 系列、DETR、DINO、RT-DETR
20. 语义分割：FCN、DeepLab、PSPNet、Mask2Former
21. 实例分割：Mask R-CNN、SOLO、YOLACT
22. 全景分割：Panoptic FPN、MaskFormer
23. 关键点检测：OpenPose、HRNet、RTMPose
24. OCR：CRNN、SVTR、PARSeq、LayoutLMv3
25. 人脸识别：ArcFace、CosFace、AdaFace、3DMM
26. 行人 / 车辆重识别：Market-1501、MOTChallenge、DeepSORT

五、3D 与几何视觉
27. 相机模型：针孔、畸变、内参外参
28. 立体视觉：极线几何、视差图、SGM、RAFT-Stereo
29. 深度估计：单目 (Monodepth2)、双目、LiDAR 融合
30. 点云处理：PCL、Open3D、PointNet/PointNet++、KPConv
31. SLAM：ORB-SLAM3、LIO-SAM、NeRF-SLAM
32. 三维重建：SFM、MVS、NeRF、Instant-NGP、Gaussian Splatting
33. 6D 姿态估计：PVN3D、GDR-Net、FoundationPose
34. 3D 检测：PointPillars、CenterPoint、MV3D

六、生成与编辑
35. GAN：DCGAN、StyleGAN、DiffAugment、ADA
36. 扩散模型：DDPM、Stable Diffusion、ControlNet、LoRA DreamBooth
37. 视频生成：VideoLDM、AnimateDiff、Sora-like DiT
38. 图像编辑：Inpainting、Outpainting、DragGAN、AnyDoor
39. NeRF 编辑：NeRF-Editing、Instruct-NeRF2NeRF

七、数据集与标注
40. 通用：ImageNet、COCO、OpenImages
41. 检测/分割：LVIS、Objects365、ADE20K
42. 3D：KITTI、nuScenes、ScanNet、Waymo Open
43. 合成数据：CARLA、GTA-V、Unity Perception
44. 主动学习 & 半监督：FixMatch、SoftTeacher、Unbiased Teacher
45. 数据标注工具：CVAT、Label Studio、Scalabel

八、部署与优化
46. 量化：PTQ、QAT、INT8/FP16/FP8
47. 剪枝：Channel Pruning、Neural Architecture Search (NAS)
48. 蒸馏：Teacher-Student、Feature-based Distillation
49. 推理框架：TensorRT、OpenVINO、NCNN、MNN、TFLite
50. 边缘设备：Jetson、RK3588、华为 Ascend、Apple Neural Engine
51. 服务化：TorchServe、Triton Inference Server、BentoML
52. 浏览器推理：ONNX Runtime Web、WebGPU、MediaPipe

九、视频与多模态
53. 动作识别：SlowFast、TSM、Video Swin、MViT
54. 目标跟踪：SiamRPN++、TransTrack、ByteTrack
55. 视频分割：STCN、XMem、SAM-Track
56. 视觉语言模型：CLIP、BLIP-2、LLaVA、Flamingo、KOSMOS-2

十、前沿与交叉
57. Segment Anything Model (SAM) & HQ-SAM
58. 视觉大模型 (VLM) 统一范式：ViT-G + LLM 对齐
59. 世界模型：GAIA-1、UniSim、DriveDreamer4D
60. 可解释 & 鲁棒性：Grad-CAM、Counterfactual Explanations、PatchFool

使用路线
Step-1：1-8 打基础 → Step-2：9-26 掌握主流任务与模型 → Step-3：27-34 深入 3D → Step-4：35-42 玩转生成 → Step-5：43-52 部署落地 → Step-6：53-60 跟踪前沿。