斯坦福 CS329A 自进化智能体课程第一讲学习笔记

完整中文导读

作者整理了斯坦福大学课程 CS329A Self-Improving AI Agents 第一讲 Course Overview 的学习笔记，两位主讲老师把大模型演进逻辑链概括为规模扩展、后训练对齐、推理时计算、智能体与自我改进闭环。

中文整理

作者 / 来源：meng shao (@shao__meng) · 原文时间：2026年10月12日 13:09（北京时间）

原作者信息要点

作者meng shao发布斯坦福大学课程CS329A: Self-Improving AI Agents第一讲「Course Overview」的学习笔记。该讲由@achowdhery和@Azaliamirh两位老师主讲，作者称课程把大模型演进逻辑链概括为「规模扩展→后训练对齐→推理时计算→智能体与自我改进闭环」。

预训练扩展定律部分：作者称自GPT-3以来，计算量、数据量、参数量三个轴上测试损失都可预测下降；模型规模从BERT（3.4亿）→GPT-2（15亿）→GPT-3（1750亿）→PaLM（5400亿）→GPT-4（估计万亿级）增长。作者称这带来基准性能提升、少样本/零样本上下文学习和涌现能力，其中最重要的是思维链（CoT）。作者引述Azalia观点：小模型给推理链也无济于事，PaLM级别大模型才能真正利用它，该性质至今仍成立。

ChatGPT配方部分：作者称ChatGPT于2022年11月发布，5天破百万用户，其超越GPT-3的关键是后训练流水线，包括预训练、高质量数据微调、指令微调（含CoT微调）和RLHF。

推理时扩展部分：作者介绍Azalia实验室工作Large Language Monkeys，让模型对同一问题并行采样最多1万次，再用验证器（如单元测试）挑出正确答案。作者称核心发现包括覆盖率随样本数呈对数线性增长；Llama 3 8B/70B单样本不如GPT-4o，但采样足够多次后反超；有些难题1万个解里只有三四个正确。作者称问答中提到重复采样提升pass@k，o1这类推理模型提升pass@1；o1在AIME上展示pass@1随测试时计算的对数线性提升；DeepSeek（2024年12月）把测试时扩展批量生成可验证合成数据回流训练集再微调模型。

从LLM到Agent部分：作者引述Aakanksha判断，聊天模型和推理模型本质仍是单轮对话，2025年真正意外的是Claude Code、Codex、Deep Research这类智能体开始端到端完成真实工作流。作者给出Agent定义：给定目标→规划步骤→与环境交互（含工具调用）→依据反馈修正→判断何时停止或承认失败，并可能需要记忆维持任务状态。作者称多数落地系统仍是人工编排的静态工作流图，真正开放式自主循环目前只在编码和深度研究两个领域出现生命迹象。

验证瓶颈部分：作者称两位老师反复回到generator-verifier gap，模型生成大量貌似合理内容容易，但判断对错需要反馈回路；数学、代码等可验证领域有廉价可靠信号，创意写作等领域人类反馈成为瓶颈。作者称这对应课程第3讲「Robust Verification」。

问答观点部分：作者称推理能力是训练出来的广义思考者；模型偏爱自己生成的推理轨迹，即使轨迹来自更强模型；思维链是被发现的涌现而非被设计；未来值得期待的涌现包括规划、多步推理、自我纠错。

应用部分：作者列出四个层次，包括编码智能体（代码迁移、版本升级、重构、数据工程）、客服（实时转写、知识辅助、智能回复、通话摘要）、深度研究/报告（检索→大纲→逐源摘要→综合）、以及前瞻性的AI Scientist（创意生成、实验迭代、论文撰写）。

作者在引用帖中称课程9讲视频都已发布在YouTube，第1讲52万观看，第9讲1.5万，并给出课程主页和视频列表链接。

本站整理与观察

本站观察：该笔记将CS329A第一讲内容组织为预训练扩展、ChatGPT后训练配方、推理时扩展、LLM到Agent、验证瓶颈、问答观点和应用层次七个板块，其中推理时扩展和验证瓶颈被作者呈现为该讲技术重点。

本站观察：作者引述的模型参数量、发布时间、观看量等数字均来自其笔记和引用帖，本站未独立核实。

本站观察：作者对课程内容的概括属于个人学习笔记，其中对Azalia、Aakanksha等主讲人观点的转述，本站无法确认是否与原始课程表述完全一致。

本整理仅基于作者meng shao的公开学习笔记和引用帖，未观看原始课程视频，未独立核实模型参数量、发布时间、观看量、实验结果等数字，也未验证作者对主讲人观点的转述是否准确。材料中未提供课程作业、论文细节或验证器组合方法的具体内容，相关部分无法展开。

上下文来源：1