跳转至

大模型与 Agent 工程学习路线

这里放已经整理成学习材料的内容。

这条路线不是资料堆放，而是从模型底层一路走到 Agent 产品设计：

全局地图
  ↓
LLM 生命周期
  ↓
数据、Tokenizer 与预训练数据工程
  ↓
后训练与对齐
  ↓
Reasoning Models / Test-Time Compute
  ↓
Transformer
  ↓
LLM 推理优化
  ↓
LLM API：HTTP 请求如何变成 Transformer 输入
  ↓
LLM 应用架构：Chatbot / RAG / 工具调用 / Workflow / Agent
  ↓
模型训练、微调和部署
  ↓
Agent 开发与评测
  ↓
Harness Engineering / Agent 安全与 Guardrails / Loop Engineering
  ↓
Agent 上下文工程
  ↓
Multi-Agent 与大型 Agent 系统
  ↓
开源 Agent 提示词目录

建议阅读顺序

  1. 遇到术语先查：核心概念索引
  2. 先读：从 LLM 出生到大型 Agent 系统
  3. 再读：LLM 生命周期：从数据到线上模型
  4. 展开数据地基：数据、Tokenizer 与预训练数据工程入门
  5. 继续读：后训练与对齐入门：SFT、DPO、RLHF、RFT
  6. 继续读：Reasoning Models 与 Test-Time Compute 入门
  7. 继续读：Transformer 入门
  8. 继续读：LLM 推理与架构优化入门
  9. 然后读：LLM API：从 HTTP 到 Transformer
  10. 接着读：LLM 应用架构：Chatbot、RAG、工具调用、工作流与 Agent
  11. 继续读：模型训练与部署学习路线
  12. 选择实操方向：原生 Python 训练循环入门、LoRA 与 QLoRA 微调入门、本地部署框架对比
  13. 想理解显存为什么能降下来，读：模型量化与推理压缩入门
  14. 需要买卡或上服务器时读：模型部署硬件选型
  15. 遇到参数再查：参数调优手册
  16. 开始做 Agent：Agent 开发入门
  17. 选择模式：Agent 模式与实现
  18. 读 Agent 产品化工程：Harness Engineering
  19. 补上安全边界：Agent 安全与 Guardrails
  20. 读 Agent 循环控制：Loop Engineering
  21. 进入多 Agent 架构：Multi-Agent 协作、自进化与记忆系统
  22. 继续看平台级设计：大型 Agent 系统架构设计
  23. 设计可复用能力：Agent Skills 实现思路
  24. 做质量闭环：Agent 效果评测框架
  25. 再读：上下文工程入门
  26. 继续读：什么是上下文工程
  27. 需要模板时查：上下文工程提示词模板库
  28. 最后查：开源 Agent 提示词目录

建议先理解模型如何处理文本、推理为什么有成本，再理解 API 如何调用模型，然后进入训练、部署和 Agent 上下文工程。源码目录是进阶资料，不建议第一遍直接看。

你现在应该读哪篇

如果你遇到陌生词，先查 核心概念索引。如果你不知道整套文档怎么串起来，先读 从 LLM 出生到大型 Agent 系统。

如果你想理解 LLM 怎么从数据变成线上模型，读 LLM 生命周期：从数据到线上模型。

如果你想理解原始网页、代码、论文如何变成 token 序列和预训练样本，读 数据、Tokenizer 与预训练数据工程入门。

如果你想理解 base model 为什么会变成 chat model、tool-use model 或 reasoning model，读 后训练与对齐入门：SFT、DPO、RLHF、RFT。

如果你想理解 reasoning effort、thinking budget、reasoning tokens 和 Agent loop 成本，读 Reasoning Models 与 Test-Time Compute 入门。

如果你不知道模型内部怎么处理文字，读 Transformer 入门。

如果你已经知道 attention，但不知道为什么推理服务要谈 KV Cache、batching、MoE，读 LLM 推理与架构优化入门。

如果你想知道一次 HTTP 请求如何变成模型输入，读 LLM API：从 HTTP 到 Transformer。

如果你想知道有了 API 后应用怎么搭，读 LLM 应用架构：Chatbot、RAG、工具调用、工作流与 Agent。

如果你想训练或部署自己的模型，先读 模型训练与部署学习路线，再选择训练或部署专题。看不懂 INT4、AWQ、GPTQ、GGUF 时，读 模型量化与推理压缩入门。需要判断 32B、70B、671B 要什么机器时，读 模型部署硬件选型。

如果你要开发 Agent，读 Agent 开发入门，再读 Agent 模式与实现。想理解同一个模型为什么放进不同 Agent 产品效果不同，读 Harness Engineering。只要 Agent 能调用工具、读文件、联网或写数据，就要读 Agent 安全与 Guardrails。想解决循环、重试、停止和恢复，读 Loop Engineering。如果要做多 Agent、A2A、自进化和记忆系统，读 Multi-Agent 协作、自进化与记忆系统。如果要做平台级架构，读 大型 Agent 系统架构设计。

如果你想做 Codex、Claude Code 这类 Agent 产品，读 上下文工程入门 和 什么是上下文工程。

机器学习基础

API、训练与部署

Agent 与上下文工程