人工智能
通过社会福利优化重新评估人工智能的公平性
Securities.io 秉持严格的编辑标准,并可能通过审核链接获得报酬。我们并非注册投资顾问,本文亦不构成投资建议。请查看我们的 会员披露.

随着人工智能系统越来越普及和强大,如何让它们公平公正的问题已成为最大的挑战。从贷款和招聘到医疗保健和刑事司法,人工智能算法现在已经开始控制个人和社区的生活和生计。通常,这些算法的运作方式是看不见的、不负责任的,而且 有时甚至有偏见 针对历史上处于弱势的群体。
为了解决这些问题,研究人员、从业人员和政策制定者组成的社区齐心协力,共同开发“公平”的人工智能系统,该系统平等对待每个人,不会延续或加剧社会不平等。将人工智能公平性形式化和操作化的主流方法是使用“统计均等指标”,旨在使受保护群体之间的某些性能指标(如选择率或错误率)相等。
然而,尽管基于均等的公平概念在人工智能界得到了广泛的研究和采用,但它们也面临越来越多的学者的批评,他们认为这些概念在概念上存在缺陷,在实践上存在局限性,而且可能适得其反。他们认为,简单地将各组之间的统计结果相等并不足以实现实质性的公平,因为它忽略了人工智能决策对个人和社区的实际福利影响。
In CPAIOR 2024 会议论文集上的新论文卡内基梅隆大学和史蒂文斯理工学院的研究人员团队提出了一种基于社会福利优化的 AI 公平替代方法。在卡内基梅隆大学运筹学教授 John Hooker 的带领下,作者使用著名的社会福利函数“alpha 公平性”来剖析人口均等性、均等赔率和预测利率均等性等流行统计均等指标的局限性和盲点。
他们的结果表明,这些平等指标通常与分配正义原则不一致,例如优先考虑最差者或公平分配利益和负担。在许多情况下,alpha-公平解决方案与平等解决方案相差甚远,因此这些指标可能会导致 AI 系统从效率和公平角度来看都不是最优的。
本篇 这对人工智能伦理领域以及构建尊重人类价值观和社会正义的机器学习系统的努力具有重大影响。这意味着我们需要一种更全面、更细致入微的算法公平方法,超越统计指标,解决人工智能在高风险领域的道德权衡问题:社会福利优化。
理解社会福利优化
从本质上讲,社会福利优化是思考和实施人工智能公平性的完全不同的范式。它不是狭隘地关注在群体之间平衡某些指标,而是退后一步,考虑人工智能决策对人类福利和幸福的更广泛社会影响。
这个想法是设计一个人工智能系统,明确地以最大化社会福利函数为目标,该函数将所有受影响个人所经历的效用(即收益和成本)汇总为一个社会利益的单一衡量标准。根据这种方法,人工智能从业者可以构建算法来平衡这些相互竞争的目标,方法是指定一个反映对效率和公平相对重要性的深思熟虑的道德判断的社会福利函数。
社会福利优化源于福利经济学,该学科长期以来一直致力于解决分配正义和集体决策问题。经济学家和哲学家提出了各种反映不同道德原则和价值判断的社会福利函数,例如功利主义(最大化效用总和)、优先主义(更重视最差者的效用收益)和平等主义(最小化不平等)。
近年来,越来越多的人工智能研究人员开始探索社会福利优化,以将公平性嵌入机器学习系统。 这项工作以 Heidari 等人和 Corbett-Davies 和 Goel 的论文“算法决策和公平成本”为基础,首次提出了使用社会福利函数来捕捉人工智能决策对不同个体和群体的不同影响的想法。
实现这一目标的方法之一是利用 alpha 公平性,这是一类参数化的社会福利函数,它具有 已被研究 在经济学和社会选择领域已有 70 年的历史。Alpha 公平性允许你使用单个参数 alpha 在功利主义和平等主义目标之间进行插值,该参数控制对不平等的厌恶程度。
当 alpha 为 0 时,社会福利函数简化为古典功利主义,最大化效用总和而不考虑分配。随着 alpha 的增加,权重 给出 分配给最坏情况的人,分配就会变得更加公平。在极限情况下,随着 alpha 趋向于无穷大,alpha 公平性会收敛到罗尔斯的“最大最小”原则,即最大化最坏情况个人的效用。
在 CPAIOR 2024 论文中,研究人员使用 alpha 公平性作为视角来检验三种流行的统计奇偶校验指标:
- 人口平等
- 均等赔率
- 预测利率平价
它们模拟了多种场景,其中人工智能系统必须在具有不同资格率和效用函数的个人群体中分配有限的资源(例如贷款、工作面试、教育机会)。
结果令人惊讶。在许多情况下,alpha 公平分配与奇偶校验指标提出的解决方案有很大不同。
人口均等性要求各群体的选拔率相等,但往往无法解释弱势群体通过被选中而获得更多边际效用的事实。因此,人口均等性导致分配既不高效也不公平。
均衡几率法只比较“合格”个体之间的选择率,效果稍好一些,但在假阴性错误(即合格个体 被拒绝) 的成本比假阳性更高。
预测利率平价使入选的合格人员比例相等,其用途有限,并且仅适用于入选人员数量大于真正合格候选人数量的情况。
这些结果显示了统计奇偶校验指标作为评估和执行算法公平性的主要方法的根本局限性和盲点。
这些指标忽视了人工智能决策的实际福利风险以及对不同群体的不同影响,可能会导致系统延续甚至加剧现有的不平等现象。它们还缺乏规范依据和一致性,因为不同的平等标准在实践中往往会产生相互矛盾的建议。
相比之下,社会福利优化提供了一种原则性和统一性的方式来处理人工智能系统中公平性和效率之间的权衡。它旨在明确选择社会福利函数时的价值判断和道德假设,以便开发人员和政策制定者能够就算法决策的分配影响进行更透明和更负责任的对话。
此外,最近的研究表明,社会福利优化可以 易于集成 进入标准机器学习工作流程,作为后处理步骤或直接进入训练目标本身。
例如,在 “算法决策和公平的成本“ 研究人员提出了一种正则化技术,该技术将社会福利项添加到任何分类或回归模型的损失函数中,以便系统可以学习公平的决策规则,从而最大限度地提高准确性和福利。Ustun 等人介绍了一种后处理方法,该方法采用任何预训练模型的输出,并根据各种公平性约束找到福利最大化的决策。
这些技术成果表明,社会福利优化是构建公平公正的人工智能系统的可行且实用的方法。开发人员可以使用这些强大的优化技术和软件包,这些技术和软件包基于清晰且可计算的目标函数,该函数捕捉了该框架的规范性考虑,以找到平衡竞争标准的分配。
然而,在实践中充分发挥社会福利优化的潜力还需要克服许多艰巨的挑战和限制。其中最大的挑战之一就是难以得出和构建单独的效用函数,以捕捉人工智能决策对人类生活的复杂、多维影响。 本篇 需要与受影响的利益相关者和领域专家进行深入接触,以了解影响人们的偏好、价值观和福祉的背景因素。
关于效用、不确定性和动态的人际可比性,以及如何将个人效用汇总为集体社会福利指标,也存在理论和哲学问题。不同的社会福利函数对这些做出不同的假设,对于在特定情况下哪种假设最合理或最合适,并没有普遍的共识。
此外,与任何基于优化的方法一样,目标也存在风险 最大化 可能无法完全涵盖所有相关的伦理考虑,或者可能 歪曲 估计效用的数据和模型中存在偏见和盲点。必须有经过深思熟虑的利益相关者参与、透明度和问责制流程,以确保福利标准得到优化,以符合受影响社区的价值观和优先事项。
尽管存在这些挑战,但社会福利优化对算法公平性的好处不容忽视。尽管如此,人工智能开发者和政策制定者可以通过一种有原则和灵活的方式来平衡这种方法的公平性和效率,从而超越统计均等性。最终,它将导致一种基于人类福利和福祉的更全面、更注重结果的公平观念。
第一个用例:公平借贷
为了展示社会福利优化在实践中的前景和挑战,让我们考虑一下高风险的算法贷款领域。近年来,许多银行和金融科技公司都采用了机器学习模型来自动化和加速信贷决策。这些模型使用大量个人和财务数据来预测贷款申请人违约的可能性,以便贷方能够更快、更有效地做出承保决策。
然而,越来越多的证据表明,这些算法贷款系统正在延续和放大信贷获取方面的历史偏见和差距。研究表明 黑人和拉丁裔借款人更有可能被拒绝贷款 或收取比具有同等资格的白人借款人更高的利率,即使在控制收入、信用评分和就业状况等传统风险因素的情况下也是如此。
为了解决这些问题,一些贷方可以采用统计均等方法,例如人口均等和均等赔率,以减轻其 AI 承保模型中的偏见。其想法是平衡受保护群体的贷款批准率或违约率,以便模型平等对待所有申请人,无论其种族或民族如何。
虽然这些基于平等的方法看似直观,但它们未能捕捉到信誉的复杂性以及贷款获取对边缘化社区福利的不同影响。越来越多的研究表明,基于均等结果的简单公平观念 实际上会适得其反,伤害到群体 他们 是故意的 保护。
例如, 2018 年的一篇文章指出 在效用最大化决策规则上实施人口均等约束通常需要在模型训练和决策中使用种族等敏感变量。 本篇 意味着仅在训练期间使用种族来满足奇偶校验约束的尝试(称为“不同的学习过程”)将是次优的。
此外,基于平等的公平标准忽略了拒绝信贷的危害 分布不均匀 在整个人口中。对于历史上被排除在主流金融服务之外的低收入和少数族裔借款人来说, 被拒绝 贷款可能会带来灾难性的后果,使他们陷入贫困和掠夺性债务的循环。对于更富裕和有特权的申请人,他们可能有其他资金来源,并且 受到的影响较小 不利的信用决策。
社会福利优化提供了一种替代方法,它直接将这些不同的福利利益纳入公平贷款算法的设计中。通过定义一个社会福利函数来捕捉不同个人和群体获得贷款的相对成本和收益,贷款人可以开发出最大化总体福利的信贷模型,同时确保更公平的机会分配。
例如,考虑一个社会福利函数,它优先考虑最弱势申请人的福利,更加重视低收入和少数族裔借款人的效用收益。 本篇 可以 正式化 使用具有中等较高 alpha 值的 alpha 公平函数,表明对公平性的偏好比效率更高。
在这一社会福利目标下,最佳贷款政策可能涉及向边缘群体提供更多贷款,即使他们的预期还款率平均略低。 本篇 是因为从社会角度来看,向这些服务不足的群体提供贷款所带来的福利收益(例如,使他们能够购买房屋、创业或接受教育)可能超过违约风险的增加。
当然,在实践中实施这种福利最大化的贷款系统需要克服大量的数据和建模挑战。贷款人需要收集有关贷款申请人的社会经济特征和财务需求以及信贷获取对他们福祉的长期影响的详细数据。他们还需要与受影响的社区合作,以确保福利标准得到优化,以符合他们的价值观和优先事项。
此外,即使目标是促进公平,使用受保护的群体信息(例如种族、性别、年龄)做出贷款决策也可能会涉及重要的法律和监管考虑。政策制定者需要就反歧视法如何在社会福利优化的背景下适用提供明确的指导,并以透明和负责任的方式为使用这些技术的贷方创造安全港。
尽管面临挑战,但这是值得的。社会福利优化有助于促进金融包容性并缩小种族财富差距,因为它允许贷方做出更全面、更注重福利的信贷决策,将资金流重新导向传统上服务不足的社区,并赋予他们经济权力。它还可以提供一种更有原则、更透明的方式来权衡贷款中的公平性和效率,这种方式以借款人生活的实际影响为基础。
透视
正如贷款示例所示,社会福利优化是算法公平性的前沿,它超越了统计均等,走向了基于人类福利和幸福的更全面、更结果主义的公平理念。
这种方法可以帮助人工智能开发者和政策制定者在高风险领域对算法系统的设计和部署做出更有原则和更负责任的决策。他们可以通过定义和最大化社会福利函数来做到这一点,该函数反映了对利益和负担分配的深思熟虑的道德判断。
然而,要在实践中充分发挥社会福利优化的潜力,需要开展大量跨学科工作。计算机科学家和人工智能伦理学者需要与经济学家、哲学家、法律专家和受影响社区合作,应对定义和计算社会福利函数的规范和技术挑战。 本篇 包括围绕个人效用测量和聚合、不确定性和动态以及不同情况下效率和公平之间的正确权衡等棘手问题。
此外,政策制定者和监管机构需要提供更多指导,并创造一个可以开发和部署福利感知人工智能的环境。 本篇 可能意味着更新现有的反歧视法律法规,以应对社会福利优化挑战,并创建新的治理框架和监督机制,以确保这些系统的设计和使用中的透明度、问责制和公众参与。
最终,人工智能向社会福利优化的转变必须 陪伴 通过更广泛的努力来解决影响技术发展及其对社会影响的根本性结构性不平等和权力不平衡问题。
无论设计得多么好,算法公平干预都无法替代促进社会和经济公正的更根本的改革,例如对边缘化社区的教育、医疗保健、住房和基础设施的投资。
正如 Hooker 和他的同事在 CPAIOR 2024 论文中所说:
“社会福利优化为设计公平、良好的算法系统提供了新方法。还有很多工作要做 完成 开发和实施这些方法并不容易,但我们认为它们是 AI 伦理的前进方向。我们可以用福利经济学的语言来构建公平的概念,并明确处理我们技术的分配后果,从而找到一种更全面、更道德的方式,来构建服务于整个社会的机器学习系统。”
总的来说,为了实现真正公平的人工智能,我们必须确保这些方法在现实场景中经过严格的测试和改进,体现对正义和社会福祉的承诺。