Allen Institute 发布 StateBench 基准
热点事件持续更新
Allen Institute 发布 StateBench 基准
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Allen Institute for AI 发布 StateBench，用于评估语言模型在长文档中追踪实体状态变化的能力，并比较不同架构在四类复杂度任务上的表现。测试显示，前沿模型在较难任务上的准确率会随输入变长而明显下降，在最长的一般有限问题上降至 13% 或更低；直接训练的 Gated DeltaNet 和混合架构模型则能在多种任务中泛化到远长于训练序列的输入。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 01:15
StateBench 基准测试语言模型对长文档状态变化的跟踪能力报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- Hugging Face BlogStateBench 基准测试语言模型对长文档状态变化的跟踪能力
Hugging Face Blog 发布 StateBench 基准，用于评估语言模型在长文档中跟踪实体状态变化的能力，并比较不同架构在四种复杂度任务上的表现。测试发现，前沿模型在较难任务上的准确率会随输入变长而显著下降，在最长的一般有限问题上降至 13% 或更低；直接训练的 Gated DeltaNet 和混合架构模型则能在多种任务上泛化至远长于训练序列的输入。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。