微软开源 Agent Lightning v1.0：3500 行代码的轻量级 Agentic RL 框架

完整中文导读

微软研究院开源 Agent Lightning v1.0，用约 3500 行代码实现 Harnessed Agentic RL 训练范式，让部署时使用的 agent harness 直接参与强化学习，无需在训练框架内重写 agent。

中文整理

作者 / 来源：Zhiyuan He, Yuqing Yang · 原文时间：2026年10月8日 00:00（北京时间）

原作者信息要点

微软亚洲研究院研究人员提出 Harnessed Agentic RL 训练范式，并开源完全重建的 Agent Lightning v1.0。作者为 Zhiyuan He、Yuqing Yang，内容来自微软研究院博客。

该范式主张：部署时使用的同一 agent harness 直接参与强化学习，无需在训练框架内重新实现 agent。v1.0 相比原版更强调轻量、与真实 harness 集成，以及完整可复现的 agent RL 训练流程。

框架约 3500 行代码，包含三个核心组件：API Gateway、Rollout Controller、Customized Trainer。API Gateway 作为兼容 OpenAI 的 LLM 代理，记录 prompt、response 和 log probabilities；Rollout Controller 以本地进程或标准 Kubernetes job 方式启动和管理 agent；Customized Trainer 基于 verl 构建。

作者称，对已有 agent harness，通常只需把模型端点指向 Agent Lightning 代理即可接入 RL 训练。

作者提出真实 harness 训练中的四个挑战：retokenization 与样本合并、优势计算、损失归一化、训练后端调度。

v1.0 引入 Collocated Async RL，让 rollout 与模型更新共用同一组 GPU。作者称实验中相比同步 RL 获得约 2 倍端到端加速，且比常规异步 RL 使用更少 GPU。

作者称 agent 以标准 Kubernetes job 运行，支持自管集群、云 Kubernetes 或本地基础设施，不依赖付费商业沙箱服务。

作者给出一个端到端编码 agent 训练示例：基于 Qwen3.5-9B，使用约 6000 条训练样本，在 SWE-bench Verified 上 Pass@1 从 41.8% 提升到 56.4%，绝对提升 14.6 个百分点。训练集基于开源数据集，构建于 SWE-smith、mini-SWE-agent 和 Qwen3.5-9B 之上。

作者称实验显示，相比样本级处理，rollout 级优势计算结合 rollout 级归一化可获得更高验证奖励，并使策略熵在训练中更稳定。

本站整理与观察

本站观察：材料将 Agent Lightning v1.0 的定位概括为轻量、真实 harness 集成和可复现，核心卖点是避免在训练框架内重建 agent，从而缩小训练与部署之间的行为差异。

本站观察：3500 行代码、约 6000 条训练样本、14.6 个百分点提升和约 2 倍加速均为作者在博客中给出的说法，材料未提供独立复现或第三方验证信息。

本站观察：Collocated Async RL 的关键机制是更新前暂停新请求并等待进行中请求完成，更新后恢复 rollout，且该状态转换对 agent harness 透明。材料未说明暂停等待对长尾 rollout 的具体影响。

本站观察：材料把 Kubernetes 原生支持与商业沙箱服务的成本问题并列，但未给出具体成本对比数据。

本站观察：四个挑战中的 retokenization、优势计算和损失归一化，本质上都源于 rollout 被拆分为可变数量样本；材料称 rollout 级处理优于样本级处理，但只给出验证奖励和策略熵的趋势描述，未列出完整数值表。

材料为微软研究院博客文章，所有性能数字、加速比和训练效果均来自作者自述，未提供独立复现、第三方评测或完整实验细节。材料未给出 3500 行代码的统计口径、约 6000 条样本的具体构成、SWE-bench Verified 评测配置，也未说明 Collocated Async RL 在长尾 rollout 下的行为。本站观察仅为基于文本的推论，不构成对框架实际性能的验证。