Co-Design Bench 真实场景测试显示编码智能体仅完整完成约四分之一任务

研究人员基于真实用户修改请求构建编码智能体基准 Co-Design Bench；测试中表现最好的 GPT-6 Astra 平均满足约70%的任务要求，但仅26.4%的任务完全正确。基准涵盖对现有网页应用的修改，输入有时包括图像、音频、视频或文档；任务包含多种变更时，所有模型的表现都会下降。研究还发现，同一模型在不同代码执行环境中的得分可能不同，因此作者建议同时报告模型和工作环境。