FDE-Gym发布：企业Agent怎样做“带隐含约束”的交付演练？

Dongxu Yang等作者于2026年10月15日17:57 UTC提交FDE-Gym v1预印本，对应北京时间10月16日01:57。本文于10月17日核验。这里的新闻事件是论文公开，不是某个平台达到生产可用，也不代表已有同行评审结论。

研究构建了20个场景、18个行业的95个交付任务，其中包括75个改变关键事实的变体。Agent面对运行系统的副本、文档、历史资料和可询问的脚本化利益相关方，最终交付物在未用于开发的数据上评价。这里是模拟客户环境，不能把95个任务说成95家企业的独立上线项目。

作者在统一的简化Agent框架下评估7家提供方的13个模型配置，每个任务与说明级别组合运行3次；单轮受到200轮交互、150分钟或8美元模型费用的上限约束。换框架、工具或预算后，不能直接沿用这些结果。

论文把L3作为主要设置，完整运行95个任务；L0至L2的对照使用20个原始任务。因此比较披露条件时，应在相同的20个任务上看差异，不能拿L0的20题结果直接减去L3的95题结果。

对企业团队的启发是：把“资料已经准备好时能否实现”和“能否自己找到必要事实”分开观察。隐含约束仍应有许可范围内的资料或知情人可查，不是故意藏起答案，再要求系统猜对。已知权限与禁止动作始终约束每轮执行。

平均分最高的配置，在表3中的Resolved列为14；另一配置为15，不能写成“所有模型最多只能完成14题”。论文将单次任务解决定义为综合分至少0.8且无预定义事故。平均分与达到门槛的任务数，本来就回答不同问题。

归一化业务提升U，比较同一批评价数据上的交付系统、原系统基线和专家参考方案。U为0表示未改善，U为1表示达到参考方案的改善幅度，负值表示更差；它不是正确率。若发生预定义事故，正向提升归零，负向损失仍保留，再减去规则规定的利益相关方联系成本得到单次综合分。论文计算汇总均值时，先将事故调整后的提升中低于−1的值按−1计入，再扣除完整联系成本；单次任务解决判定仍使用未经这一截断的分数。

一个纯教学演算：若某项越高越好的指标，原系统为4、参考为8、交付为6，则U=(6−4)/(8−4)=0.5。假设无事故、归一化联系成本为0.1，单次分数是0.4。这里的0.1不是人民币，也不是实际工时；这些数字不来自本站测试。若参考与基线相同，分母为零，这个演算就不能使用。

论文还报告：平均分最高配置取得全部关键事实的23个任务中，只有10个达到至少0.8的归一化业务提升。这个条件子集的结果表明，拿到事实之后仍有实现问题要查；它不提供某个企业项目失败原因的自动诊断。

下面是本站原创、未执行的教学设计，不是FDE-Gym原题。选择一套隔离的维修工单分派模拟器，只生成内部派单草稿，不通知人员、不操作设备。目标是按当前规则分派或转交工单；现行规则、值班表和原有接单入口都放在获准访问的测试资料中。

准备两份旧版本说明和当前有效规则时，写清日期与责任人。让一个测试角色持有可核实的例外条件，并事先固定答复脚本；不要让扮演者看到系统表现后临时改变规则。以下字段都属虚构教学，不作为真实维修处置建议。

论文的对照涉及固定模拟环境和脚本化角色；真实企业的人员答复、资料质量、时间压力与系统变化更多。不要把演练分差机械归因于“不会访谈”，也不要因为一次L0成功就认定实现稳定。

联系成本用于让评测考虑打扰与等待，并不鼓励在生产中少问关键问题。必要的权限、规则冲突与高影响动作无法确认时，仍应按企业流程核实或停止。本篇的双条件演练用于定位问题，不能替代正式验收。

截至10月17日核验，项目仓库说明提供3个公开完整案例，较完整的20场景材料需申请；官方验证榜覆盖95个L3任务，其中75个变体不对外开放。公开练习或自行报告的结果，不能直接冒充官方95题验证结果。案例另有使用条款，仓库要求不要用案例训练模型。

研究v1仍在收集人类基线，不能据此宣称Agent已经达到或未达到某类工程师的水平。模拟环境、特定模型设置与构造任务也限制了分数的外推范围。本站未运行该基准、未申请完整案例，也未得到任何客户成效数据。