← 返回资讯列表

AI创新案例

微软与 Hugging Face 发布 ThinkingBox:以数据库终态而非生成文本评估 AI 智能体

完整中文导读

微软与 Hugging Face 联合发布 ThinkingBox 基准,通过 507 个有状态业务工作流、每个任务重复 20 次,评估 AI 智能体在数据库终态和副作用上的表现,而非仅看工具调用或最终回复。结果显示,在 121,680 次有效试验中,79,853 次未通过可执行检查,其中 67.24% 仍干净终止并调用状态变更工具且无最终工具错误;失败中约 79.9% 为工具使用问题。

模型一致性差异显著,如 Claude Opus 5.5 与 Claude Opus 5 均仅 241 个任务 20/20 通过,而 Kimi-K3 虽覆盖最广但仅 68 个任务全通过。该基准已通过 Hugging Face 开放。

本文为来源内容的中文摘要与整理,不代表原文全文翻译。完整信息请查阅来源原文。

打开来源原文 ↗返回资讯列表