在 LLM 应用工程圈,有一个被反复验证、却很少被明说的现象:真正能在生产环境里长期跑通的智能体系统,绝大多数并不是靠某一个花哨框架,而是靠一批写得足够直接、能逐行读懂、能立刻跑起来的「笔记本式」代码。Anthropic 在 2024-12-19 发布的《Building effective agents》里给出了同方向的官方表述:Over the past year, we've worked
在 LLM 应用工程圈,有一个被反复验证、却很少被明说的现象:真正能在生产环境里长期跑通的智能体系统,绝大多数并不是靠某一个花哨框架,而是靠一批写得足够直接、能逐行读懂、能立刻跑起来的「笔记本式」代码。Anthropic 在 2024-12-19 发布的《Building effective agents》里给出了同方向的官方表述:Over the past year, we've worked with dozens of teams building large language model (LLM) agents across industries. Consistently, the most successful implementations weren't using complex frameworks or specialized libraries. Instead, they were building with simple, composable patterns. 这段话几乎可以当作「框架无关实操合集」这件事的官方背书——一线团队的真实结论是:简单、可组合的模式,胜过复杂的专用框架。
Anthropic 的 workflow / agent 分类坐标系
Anthropic 在同一篇文章里给出了一个至今被工程社区反复引用的分类:Agent can be defined in several ways... At Anthropic, we categorize all these variations as agentic systems, but draw an important architectural distinction between workflows and agents: Workflows are systems where LLMs and tools are orchestrated through predefined code paths. Agents, on the other hand, are systems where LLMs dynamically direct their own processes and tool usage, maintaining control over how they accomplish tasks.——把「智能体」拆成「workflows 加 agents」两类,是当下大多数工程讨论的隐含坐标系。一份合格的工程师实操合集,必须同时覆盖这两条线:前者是确定性的、可观测的、流程化的,后者是动态的、可中断的、有自我纠错的。
「框架无关」的具体含义
所谓「框架无关」并不是说不要用框架,而是说工程知识要被写到「不绑定特定框架」的程度。具体到一份 AI 工程师笔记本合集,这意味着三件事:第一,核心模式(检索增强、工具调用、规划、记忆、评测)用最少依赖的 Python 代码演示,不绑定 LangChain、LlamaIndex、CrewAI 等任何一个上层框架;第二,每个模式都允许读者「只取一段」嵌入自己的工程,而不是整套照搬;第三,模式之间可以自由组合,而不是必须按照某一个框架规定的拓扑去拼装。Anthropic 在《Building effective agents》里反复用 simple, composable patterns 这个词,本质上就是在描述「框架无关的最小可组合单元」。
RAG:AI 工程师笔记本的第一站
RAG(Retrieval-Augmented Generation)几乎是任何 AI 工程师笔记本合集的第一站。一个完整的 RAG 流水线应当至少覆盖:文档加载与切块、嵌入模型选择、向量库选择、检索策略(BM25 / 稠密向量 / 混合)、重排序、重写查询、引用回填、上下文窗口管理、评测与回归。在工程实现上,每一段都可以用几十行 Python 写完:切块可以用 LangChain 的文本分割器,也可以用最简单的「按段落加窗口」自写;检索可以走 SQLite 的 FTS5,也可以走 pgvector;评测可以用 RAGAS 框架,也可以自己写一份「相关性加忠实度加答案完整度」的三维度打分。框架无关的核心就是:让读者看清每一段真正在做什么,而不是被框架的抽象层挡住。
Agent 工程:workflows 与 agents 双线
Agent 工程那一段通常会拆成「workflows」和「agents」两个子主题。Workflows 的典型范式包括:Prompt Chaining(把一个任务拆成顺序多步,前一步的输出是后一步的输入)、Routing(根据输入特征选择下游路径)、Parallelization(同一任务多路并发,事后汇总)、Orchestrator-Workers(中央规划器把任务派发给多个工作器)。Agents 的典型范式则是:LLM 在循环里自主决定调用哪个工具、自主决定何时停止、自主决定是否把中间结果写回记忆。Anthropic 在《Building effective agents》里给出的示例代码——augmented LLM、prompt chaining、orchestrator-workers、evaluator-optimizer、autonomous agent——至今仍是大多数工程师第一次接触这些范式时的标准模板。
评测:被低估但最重要的一节
评测在 AI 工程师笔记本合集里往往是被低估的一节,但在生产环境里它是最重要的一节。Anthropic 在《Building effective agents》里专门强调:Human-in-the-loop is also an important type of evaluator... For our own agents, we've found that performance on tasks tends to improve significantly with simple prompts that框架 of more open-ended ones.——评测不是「上线前跑一次 benchmark」,而是「每次改 prompt、改模型、改检索策略都要重新跑」。一份合格的合集应当提供:单元级测试(单条 prompt 在单条 case 上是否通过)、回归测试(改动前后整体分数是否漂移)、人类评测入口(把模型输出送到标注平台让人打分)、错误分析(把失败 case 抽出来逐条看是检索错、推理错还是工具调用错)。
Colab 实操的真正价值:零配置可跑
Colab 实操的真正价值在于「零配置可跑」。一份合格的 Colab 笔记本应当在第一格就 pip install 所有依赖、配置好 API Key 的环境变量入口、给出最小可运行示例,读者复制后可以直接在自己 Google Drive 里跑起来。Anthropic 在 MCP 协议那一篇里提到的开发门槛被显著拉低的现象——Claude 3.5 Sonnet is adept at quickly building MCP server implementations, making it easy for organizations and individuals to rapidly connect their most important datasets with a range of AI-powered tools.——同样适用于 Colab 笔记本生态:模型本身对 API 调用、工具注册、JSON 序列化、异步并发这些工程细节已经熟练到不需要专门框架兜底,工程师只要把每一段写直白,读者就能跟着走。
选型哲学:刻意回避的三件事
把视线从具体技术拉到选型哲学。一个框架无关的 AI 工程师笔记本合集,通常会刻意回避三件事:第一,回避过早抽象——任何一段示例代码,如果有三个以上类继承层级,大概率就太抽象了,读者拷贝到自己工程里会发现少一个基类就崩;第二,回避框架内置的「魔法」——比如 LangChain 的 Runnable 接口、LlamaIndex 的 index/query 抽象,如果一段示例离不开这些接口,读者换一个框架就要重写;第三,回避「演示数据」——演示用的样本数据应当贴近真实业务形态(多页 PDF、长对话日志、混合中英文),而不是精心挑选过的「刚好能跑通」的玩具数据。这三条加起来,才让合集具备可移植性。
2026 年应当覆盖的新兴主题
在 2026 年的当下,一份合格的开源 AI 工程师笔记本合集还应当覆盖几个新兴主题:MCP 服务器端实现(基于 Model Context Protocol 的 Tools、Resources、Prompts 三类原语)、Computer Use 的事前事后验证回路(参见 Anthropic 在 2024-10 发布的能力)、Prompt Caching(Anthropic 在 2024-08 引入的能力,把重复前缀缓存在推理侧,显著降低长上下文任务的成本与延迟)、结构化输出(让模型稳定返回 JSON / JSON Schema 而不是自由文本,这是把 LLM 嵌入业务系统的硬门槛)。这些主题与早期 RAG/Agent/评测三件套一起,构成了当下 AI 工程师日常工程任务的全集。
实操合集需要持续滚动更新
Anthropic 在《Building effective agents》末尾对自家产品线做了一次重要更新:Much of the tooling landscape described in this post has changed since December 2024. For our current approach, see how we built Claude Managed Agents and the Managed Agents documentation. 这条更新本身也是一个信号——AI 工程师实操合集的内容半衰期很短,任何一份「写完就锁死」的合集都会在 6-12 个月内过时。可持续的开源合集通常采用「核心模式稳定 + 边缘模式持续滚动」的结构:RAG/Agent/评测的最小可组合单元三五年不变,但 Colab 笔记本里用的具体 API、具体模型、具体 SDK 应当随着厂商更新而滚动。
为什么需要框架无关的合集
回到「为什么需要框架无关的合集」这个根本问题。Anthropic 的官方回答是:the most successful implementations use simple, composable patterns rather than complex frameworks。社区层面的回答则是:框架切换是常态,工程师的真正竞争力不在于熟练某一个框架,而在于能把 Prompt Chaining、Routing、Orchestrator-Workers、Evaluator-Optimizer 这些基本模式迁移到任意一个新框架。一份合集如果能让读者在两天之内把核心模式从 LangChain 搬到裸 OpenAI SDK,或者从 CrewAI 搬到 Anthropic Bedrock,那就真正达成了「框架无关」的目标。这件事比任何单点 benchmark 都要重要。
具体执行:三类文件共同回答落地检验
最后回到具体执行。一份可下载、可运行、可改造的开源 AI 工程师笔记本合集,至少应当提供三类文件:第一类是模式示例(每个模式一份 Colab 笔记本,自带 pip install + 最小数据 + 单元测试入口);第二类是评测基线(用同一份测试集对每个模式跑一遍,给出可复现的分数,作为后续改动的对照);第三类是工程模板(把多个模式拼成一个完整 AI 工程师工作流的样板项目,例如「读 PR 自动生成 changelog」或「读工单自动生成周报」)。这三类文件共同回答同一个问题:模式是什么、模式表现如何、模式如何被组合成真实业务系统。这是任何 AI 工程师笔记本合集最终能不能落地的检验标准。