斯坦福研究发现不少大模型结论已失效

斯坦福研究人员 Owen Queen 和 James Zou 用20个模型检验了50项关于大语言模型的广泛引用结论，发现44%已过时、34%显著减弱，只有16%仍成立，另有6%有所增强。研究估算的22项结论平均寿命为15.7个月，推理相关结论变化尤其明显。 研究人员建议将经验性发现限定为特定模型和时间点的观察，并记录模型版本与日期，同时公开提示词和分析代码，以便他人复测。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。