跳到正文
Hugging Face Blog·· 2 小时前精选AI 评分74

FairStress 基准评估大语言模型决策中的人口统计公平性

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

FairStress 是一项用于评估大语言模型决策中人口统计公平性的基准,关注模型最终选择之外的决策变化、解释差异及内部激活模式。基准包含 300 个跨 29 个领域的双候选决策场景,结合身份表达方式与对抗性前缀扩展为超过 13 million 个测试案例,并提供 50K 项的 FairStress-Core 子集。

推荐理由

FairStress将公平性评估从最终选择扩展到决策在说服下的稳健性,并比较不同提问与评分方式,呈现了基准设计如何影响偏差结论。

来源:Hugging Face Blog · huggingface.co