StateBench 基准测试语言模型对长文档状态变化的跟踪能力

Hugging Face Blog 发布 StateBench 基准，用于评估语言模型在长文档中跟踪实体状态变化的能力，并比较不同架构在四种复杂度任务上的表现。测试发现，前沿模型在较难任务上的准确率会随输入变长而显著下降，在最长的一般有限问题上降至 13% 或更低；直接训练的 Gated DeltaNet 和混合架构模型则能在多种任务上泛化至远长于训练序列的输入。