Hugging Face Blog·· 2 小时前精选AI 评分74
FairStress 基准评估大语言模型决策中的人口统计公平性
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读
FairStress 是一项用于评估大语言模型决策中人口统计公平性的基准,关注模型最终选择之外的决策变化、解释差异及内部激活模式。基准包含 300 个跨 29 个领域的双候选决策场景,结合身份表达方式与对抗性前缀扩展为超过 13 million 个测试案例,并提供 50K 项的 FairStress-Core 子集。
推荐理由
FairStress将公平性评估从最终选择扩展到决策在说服下的稳健性,并比较不同提问与评分方式,呈现了基准设计如何影响偏差结论。
来源:Hugging Face Blog · huggingface.co