鲁棒公平性审计：基于几何理论与分布鲁棒优化的风险评估

在机器学习模型上线之前绝大多数团队做的“公平性审计”其实就是在某个测试集上算几个比率不同群体的接受率、错误率、校准误差对比一下写进报告。问题是这个测试集本身只是从真实分布里抽出来的一个样本。换一批数据、换一种采样方式或者线上环境稍微发生变化同一份审计报告就可能完全不成立。这正是“鲁棒公平性审计的几何理论”A Geometric Theory of Robust Fairness Audits要处理的问题。它尝试把“公平性风险”定义成一个有几何结构、可以计算、可以给出边界的概念而不是一系列零散的统计检验。严格来说这不是一个能一键启动的软件项目而是一种分析框架。这篇文章我会拆开讲为什么传统审计不够用几何视角的核心假设是什么怎么把“最坏情况下的不公平”形式化以及如果你想在自己的数据上做一个最小复现实验应该怎么设计。适合算法工程师、风控模型同学、推荐系统评估负责人以及对公平性机器学习研究感兴趣的读者。1. 核心概念速览能力项说明理论类型公平性审计与分布鲁棒优化结合的分析框架核心对象模型预测、敏感属性、真实标签构成的联合分布主要问题测试分布发生扰动时公平性指标会恶化到什么程度关键工具Wasserstein 距离、概率分布几何、对偶理论、极大极小优化输出形式公平性指标的鲁棒边界、最坏情况子群、风险热力图数据需求带有敏感属性、真实结果、模型预测分的结构化数据软件依赖通常需要 Python、NumPy、SciPy、优化求解器是否支持批量可以设计为批量审计流水线但不是现成工具箱适合场景模型上线前评估、第三方审计、在线公平性监控主要局限需要定义合理的扰动半径和概率距离否则边界会失真从表中可以看出这个理论的关键词是“鲁棒”和“几何”而不是“又一个公平性指标”。它不是在原有指标上打补丁而是换了一种限定风险的方式。2. 为什么公平性审计需要“鲁棒性”2.1 静态审计的问题传统审计流程通常是这样拿一批已经标注好的测试数据把模型预测结果跑出来按敏感属性分成几个子群计算性别、年龄、地区等维度上的差异。最常见的指标是选择率差异、错误率差异、校准误差差异。这套流程的问题在于它把测试集当成真实分布的完美代表。但现实里的测试集通常有三个来源历史数据抽样、人工标注、线上日志回放。任何一个环节出现偏差审计结论就会跟着偏。更麻烦的是静态审计只给出“在某个样本上公平性差距是多少”它不回答“如果样本本身有噪声差距可能扩大到多少”。一个测试集上看到的 2% 差距可能对应真实分布下的 8%。传统方法无法区分这两者。2.2 分布偏移是常态模型部署之后数据分布几乎必然发生变化。用户群体变了、业务策略调整了、市场环境变了都会导致输入特征分布和标签分布漂移。敏感属性子群之间的关系也在变化。例如信贷风控模型在经济上行期和下行期的违约率差异会显著不同。审计时如果只看模型表现可能在某个时段发现公平性差距很小但这种结论可能只在那个时段成立。这就是鲁棒公平性审计的切入点它把所有可能出现的分布偏移都建模成一个“不确定集合”然后回答在这个集合里公平性指标最坏会变成什么样。2.3 鲁棒审计的定位鲁棒公平性审计并不是要替代传统指标而是要给它加上一层“安全边界”。传统审计回答“当前样本是否公平”鲁棒审计回答“在当前样本周围公平性是否会迅速崩溃”。这种定位让它可以成为模型上线前的一项压力测试也可以作为第三方审计时的一种证据形式。3. 几何视角的核心思想3.1 把审计对象放到分布空间里几何视角最关键的转换是把每一个数据集或测试分布看作概率空间里的一个点。模型预测、敏感属性和真实标签一起构成联合分布这个联合分布就是高维空间中的一个对象。不同测试分布之间的距离可以用概率分布之间的距离来度量。最常见的选择是 Wasserstein 距离也叫推土机距离。它的直觉是把两个分布想象成两堆土计算把一堆土搬到另一堆土的最小成本。当测试分布变了联合分布的位置就变了。公平性指标在这个空间里可以被看作一个函数输入一个分布输出一个不公平性分数。鲁棒审计关心的是这个函数在一个区域内的最大值。3.2 不确定域以经验分布为中心的邻域我们手头只有一个观测到的经验分布它并不精确。真实分布也许就落在这个经验分布附近但具体在哪个位置我们不知道。几何理论的做法是以经验分布为中心画一个半径为 epsilon 的“分布邻域”。这个邻域里的每一个点都表示一个可能与观测数据一致的现实分布。半径越大表示对数据可信度要求越低审计结果覆盖的坏情况越多。这个邻域和传统的置信区间有一点类似但它比置信区间更一般。置信区间刻画单个统计量可能出现的范围而分布邻域刻画整个联合分布可能存在的范围。3.3 审计目标最坏情况下的不公平性在数学上鲁棒公平性审计就是一个极大极小问题在所有可能扰动分布中找到一个让公平性差距最大的分布然后计算这个最大差距。[ \text{RobustGap} \sup_{Q: D(Q, \hat{P}) \le \epsilon} \text{Gap}(Q) ]其中 (\hat{P}) 是经验分布(D) 是概率分布距离(\epsilon) 是扰动半径(\text{Gap}) 是某一公平性指标。这个式子看起来很抽象但它给了我们一个非常具体的工程启示公平性审计不能只看一个数而要看这个数在分布扰动下会升到多高。如果没有升高说明模型在这个指标上是稳定的如果升高很快说明这个公平性结论是脆弱的。4. 形式化描述与应用推演4.1 基本记号与公平性指标先说基本记号。假设有一个敏感属性 (A)一个真实结果 (Y)以及模型预测 (\hat{Y}) 或预测概率 (R)。联合分布 (P(A,X,Y,R)) 包含了所有信息。常见的群体公平性指标都可以用这些变量的联合分布来表达统计奇偶性要求 (R) 与 (A) 独立即不同群体的预测正例率相等。机会均等要求在 (Y1) 的群体内部(R) 与 (A) 独立。校准公平性要求条件概率 (P(Y1 | Rr, Aa)) 不随 (a) 变化。这些指标本质上是条件概率之间的差异。在几何理论里差异可以用条件分布之间的距离重新表达。4.2 鲁棒公平性审计问题把公平性指标定义成分布函数 (g(P)) 后鲁棒审计就是在扰动集合内求上界[ \max_{Q \in \mathcal{U}_\epsilon(\hat{P})} g(Q) ]这个最大值对应着“最坏公平性风险”。一旦算出来审计报告就不是简单写“差距 2%”而是写“在半径 0.05 的分布扰动下最坏差距约为 11%”。这个说法对业务方的价值更大。因为它意味着传统审计的 2% 可能是个假象真实环境下最坏情况会到 11%。如果 11% 不可接受就需要重新训练模型或补充数据。4.3 一个直觉模型平滑性与鲁棒性几何理论还能推导出一个实用直觉模型的平滑性会影响审计鲁棒性。如果模型预测概率对输入特征非常敏感那么很小的分布扰动就能让某些敏感子群的预测分布大幅变化公平性差距因此被放大。从几何角度看这就是“函数在分布空间里的 Lipschitz 常数很大”。因此鲁棒公平性审计不仅是一个评估方法它还可以作为模型选型的依据。在公平性指标接近的两个模型之间应优先选择在分布扰动下边界更小的那个。4.4 与分布鲁棒优化的关系分布鲁棒优化Distributionally Robust Optimization, DRO是近些年机器学习里常用的一种优化思路。它要求模型在最坏分布下也能保持性能。鲁棒公平性审计和 DRO 非常像但目标函数不同。DRO 通常优化的是平均损失或最坏损失而鲁棒审计优化的是公平性差距。换句话说审计者面对的是一个“对抗性环境”数据分布有偏移模型本身固定我们要去量化风险。这种视角让审计者从被动接收数据变成了主动构造边界。5. 与相关公平性方法的关系5.1 群体公平性群体公平性要求某些统计指标在不同敏感属性子群之间接近。几何理论天然适用因为它可以把多个子群的条件分布看成分布空间中的不同点然后度量这些点之间的 Wasserstein 距离。相比传统的“两组均值差”Wasserstein 距离能刻画整个分布形状的差异而不只是均值差异。这对高风险场景很重要因为均值一样不代表分布相同。5.2 个体公平性个体公平性要求相似的个体获得相似的预测。几何理论不直接解决个体公平性但可以提供一种思路如果个体特征空间上的距离函数给定那么个体公平性可以被嵌入到分布距离的计算中。也就是说几何理论更多是提供一个母框架具体落地需要配套定义个体之间的距离度量。5.3 多校准与多准确率多校准方法要求在任意可定义的子群上模型的预测校准误差都接近零。它与鲁棒公平性审计在精神上有一致性都关注“最坏子群”而不是只关注预定义的少数敏感属性。几何理论把“任意子群”进一步推广为“任意扰动分布”因此在覆盖范围上更连续。代价是计算复杂度更高对数据量和优化器的要求也更严格。5.4 对抗鲁棒性对抗鲁棒性关注的是输入样本的微小扰动会不会改变模型输出。鲁棒公平性审计关注的是整个测试分布扰动后公平性指标会不会大幅变化。两者是不同层级的鲁棒性一个是点级别一个是分布级别。分布在扰动后单个样本甚至可以变得不合理但只要整体上不公平性没有失控审计就可能通过。这种设计更适合现实世界中的样本外审计。6. 实验框架设计与最小复现这一部分给出一个可复现的实验思路。因为标题对应的是一套理论不是某个官方工具包所以下面的代码是教学演示模板用于说明“鲁棒公平性审计”在工程上应该包含哪些环节。6.1 实验目标设计一个最小实验来回答两个问题在同一个测试集上传统公平性差距是多大如果允许测试分布在 Wasserstein 距离上扰动一定半径最坏公平性差距是多大如果第二个数字明显大于第一个数字说明这个模型的公平性结论很脆弱。6.2 环境准备建议使用 Python 3.9 或更高版本主要依赖包括 NumPy、SciPy、Pandas、scikit-learn以及可选的 cvxpy 和 PyTorch。以下是一个依赖示例。# requirements-demo.txt # 教学实验依赖示例请按实际项目版本调整 numpy1.24 scipy1.10 pandas2.0 scikit-learn1.2 cvxpy1.3 matplotlib3.7安装命令pip install -r requirements-demo.txt6.3 数据与特征准备你需要一张表格至少包含以下列敏感属性例如gender、age_group。真实标签例如label。模型预测概率例如pred_prob。加载数据的示例import pandas as pd # 假设 data.csv 包含敏感属性、真实标签和预测概率 df pd.read_csv(data.csv) # 按敏感属性分组查看样本量、真实正例率、预测正例率 groups df.groupby(sensitive_attr) for name, group in groups: print(fgroup{name}, size{len(group)}) print(f positive_rate{group[label].mean():.4f}) print(f predicted_rate{group[pred_prob].mean():.4f})这一步用于了解子群样本量和基础比例避免后续对极小样本组做鲁棒性判断。6.4 计算子群经验分布在简化情况下可以先把每个子群的预测分数看成 1D 经验分布后续所有 Wasserstein 距离都在 1D 上计算。from scipy.stats import wasserstein_distance group_a df.loc[df[sensitive_attr] A, pred_prob] group_b df.loc[df[sensitive_attr] B, pred_prob] dist wasserstein_distance(group_a, group_b) print(f1D Wasserstein distance between groups: {dist:.4f})这就是两个子群预测分布之间的差距。注意它是整个分布的差距不是均值差。6.5 用 1D Wasserstein 距离做扰动这里做一个简化实验把整个测试集的经验分布看成一组离散概率然后在允许扰动半径内寻找使公平性差距最大的候选分布。下面的代码只是结构演示。真实的 Wasserstein 球约束通常需要更复杂的线性规划或 Sinkhorn 方法这里用总变差约束近似。import cvxpy as cp import numpy as np # 假设经验分布落在 50 个桶上 p_hat np.ones(50) / 50 # 候选扰动分布 q cp.Variable(50) # 目标最大化某个子群正例率与全体正例率的偏差 # 为简化假设正例率来自预测分数且它只与 q 的某一部分线性相关 # 这里用 TV 距离约束替代 Wasserstein 球的真实结构 objective cp.Maximize(q[10:20].sum() - q[20:30].sum()) constraints [ q 0, cp.sum(q) 1, cp.norm(q - p_hat, 1) 0.1 ] problem cp.Problem(objective, constraints) problem.solve(solvercp.ECOS) print(worst-case gap:, objective.value)运行这个示例的目的是观察“最坏情况差距”和“原始差距”之间的差异。真实项目里Wasserstein 球约束需要把样本点之间的距离矩阵写进约束计算成本会显著增加。6.6 审计配置示例批量审计时把数据路径、敏感属性、指标类型和扰动半径统一放到配置文件中会更方便。# audit_config.yaml audit: dataset: data.csv sensitive_columns: - gender - age_group outcome_column: label prediction_column: pred_prob fairness_metrics: - demographic_parity - equalized_odds perturbation_model: 1d_wasserstein radius: 0.05 output_dir: ./audit_report实际的 YAML 解析代码可以按团队习惯实现关键是统一配置便于复现。7. 实验设计与效果验证7.1 推荐数据集如果没有内部数据可以先使用公开研究数据验证流程。比较常用的有Adult 收入数据集预测收入是否超过阈值敏感属性常用性别、种族。German Credit 数据集信用风险分类。COMPAS 累犯风险数据集预测是否再次犯罪。需要特别说明使用这些数据前要确认数据许可和研究用途不能把带有真实身份属性的数据用于非法场景。部分公开数据集存在采样偏差和争议更适合作为算法验证不建议直接用于现实决策。7.2 评估指标鲁棒公平性审计报告要同时输出两类指标指标类别示例作用传统公平性差距正例率差、等赔率差给出当前测试集上的基线鲁棒边界最坏正例率差、最坏校准差给出分布扰动下的风险上限稳定性指标边界与基线的差值体现公平性结论的脆弱程度稳定性指标特别重要。如果边界和基线几乎一样说明模型在分布扰动下的公平性稳定如果差值很大说明任何测试集选择都会显著影响审计结论。7.3 判断审计有效的标准一个鲁棒审计实验是否有效要看三点扰动集构造是否符合目标场景。如果模型未来可能遇到用户结构变化半径就应该大一些如果只做私有数据验证半径可以很小。距离计算是否使用真实样本点距离。用总变差近似虽然能快速出结果但不能替代 Wasserstein 距离。报告是否强调“数值上的不确定性”而不是把单点结果当结论。8. 性能与复杂度观察从计算角度鲁棒公平性审计比传统指标贵很多。传统公平性指标最多就是算几次条件均值复杂度极低。但 Wasserstein 距离在样本量为 (n) 时1D 情况可以做到 (O(n \log n))高维情况需要求解最优传输问题常见算法复杂度接近 (O(n^3)) 或更差。如果样本量达到百万级直接求解所有点之间的传输矩阵会非常慢。实践中建议三种降载方式先把预测分数和标签离散化成桶降低分布维度。使用 Sinkhorn 等熵正则化方法用迭代计算近似最优传输。只对敏感子群和最容易受到扰动的局部区域计算边界而不是对全量数据做整体优化。显存和 GPU 在这个问题里不是主要瓶颈更多瓶颈在内存和求解器时间。小数据集上验证算法正确性再逐步扩展到全量数据是比较稳妥的方式。9. 常见问题与排查方法问题现象可能原因排查方式解决方案鲁棒边界和传统差距几乎一样扰动半径设置太小检查 epsilon 数值是否覆盖真实波动增大半径观察边界变化最坏情况求解不收敛优化问题规模过大或约束过强查看求解器日志和迭代次数减少样本桶数使用 Sinkhorn 近似某个子群样本量很小经验分布不可靠对比子群样本量和总体比例对小样本组做降权和置信度惩罚距离计算耗时过长样本点数量过大统计数据行数和特征维度先分桶再做 1D 近似报告结论与业务直觉不符公平性指标定义不一致检查敏感属性编码和预测概率口径统一指标定义复核代码逻辑不同扰动半径下结论相反模型公平性本身不稳定画边界随半径变化的曲线在报告中给出完整曲线不要只看单点审计结果受到标签噪声影响真实标签本身有误抽样复核标签质量对标签不确定样本做剔除或加权排查时最重要的原则是先看数据再看模型最后看优化。很多鲁棒审计结果异常其实是因为输入分布一开始就有问题。10. 最佳实践与使用边界10.1 工程建议鲁棒公平性审计不是一次性脚本建议把它做成一个可重复执行的流水线。模型训练结束后生成预测分数和特征快照审计模块读取这些快照输出一个标准报告。报告包含基线差距、鲁棒边界、不同扰动半径的敏感性曲线以及最坏情况下的子群案例。日志和版本管理很重要。每次审计都记录数据版本、模型版本、特征版本、扰动半径和求解器配置。否则模型出了事故很难判断审计当时到底评估的是什么。10.2 合规与隐私公平性审计通常会接触敏感属性例如性别、年龄、地区、种族等。处理这些数据时必须遵循所在地区的法律法规和机构内部的数据安全规范。审计结果可能影响业务决策因此要谨慎表述。不要把“鲁棒边界较小”等同于“模型完全公平”也不要把“最坏情况较大”直接解释为“模型故意歧视”。审计只能提供统计证据最终判断要结合业务背景、法律要求和人类复核。对于人脸识别、声音处理、收入预测等高敏感场景需要额外的数据授权、模型解释和人工审核机制。任何自动化审计都不能替代必要的合规审查。10.3 避免过度优化另一个风险是“为了审计而审计”。如果审计团队把鲁棒边界当作唯一目标业务团队可能会刻意调整模型使边界看起来很安全但实际公平性并没有改善。更好的做法是把鲁棒边界当作早期风险预警而不是一个必须压到多少以下的目标。指标越安全越应该继续关注真实世界的反馈和投诉数据。11. 总结与下一步这个几何理论最值得尝试的点是它把公平性审计从一个“打勾”动作变成了一个“压力测试”动作。传统审计告诉你当前样本有没有问题鲁棒审计告诉你这个样本之外还有多少风险空间。最先应该验证的功能是在一个小规模公开数据集上算出一个公平性指标的鲁棒边界。不要一开始就追求高维 Wasserstein 距离先用 1D 预测分数分布做实验观察扰动半径对边界的影响。最容易踩的坑是把扰动半径设得太小。半径太小边界就和传统差距没有区别整个分析会显得毫无价值。半径太大最坏情况又可能过于极端失去实际参考意义。后续可以继续扩展的方向有三个一是把几何理论接入模型训练用公平性边界作为正则项二是把审计流程做成离线定时任务监控线上模型的公平性漂移三是和 AutoML 结合在模型选型阶段就自动筛选出公平性更稳健的候选模型。你可以从第一个方向的最小复现开始把这个理论真正用起来。