2022-12-05 16:07:25 来源:商业新知网
好多研究都发现,AI这家伙好不害臊,竟也学会 性别歧视 了。
这可咋整?
最近,清华&复旦的一项研究为此给出建议:
(资料图片)
要想把失足AI从性别歧视这条路上拽回来,一顿臭骂效果可不好。
最好的办法是 了解孩子为啥这样 ,然后 对症下药 给他讲道理。
因为要是光教训不讲道理,暴力纠正,AI会被吓笨 (性能下降) !
哦买噶,养四脚吞金兽难,养 (xun) 个 (lian) 赛博孩子也得这么难了?
来看看这群AI“奶爸奶妈”,提出了哪些训孩子的建议吧。
在这次以前,不是没有人揪着失足AI的耳朵,想让它改掉重男轻女的坏毛病。
但是,目前的大多数去偏方法,都会让模型在其他任务上的 性能下降 。
比如你让AI减弱了性别歧视,就会产生这样的恼人结果:
它要么分不清“爸爸”的性别是男还是女,要么会犯语法上的错误,忘记给第三人称后面跟着的动词+s。
更可气的是,这种 退化机制还没被研究明白 。
大家要不然直接弃用性别偏见明显的模型——
2018年,亚马逊注意到用来自动筛选简历的模型存在对女性求职者的歧视,就把这个系统 雪藏 了。
要不,就只能忍受性能下降。
难道说想让AI不再是失足AI、问题AI,AI就一定会失了智吗?
清华&复旦的研究对此说 No 。
他们研究的领域是 预训练语言模型 。
这是因为它在各种NLP任务里显示神通,有很多实践场景。
当有性别偏见的它被用在在线广告、自动简历筛选系统、教育等社会工作中时,可不太妙。
研究提出了AI性别偏见起源的理论框架, 因果框架 ,用来解释在预训练过程中,数据不平衡是怎么导致模型的性别偏见的。
他们把预训练模型在执行特定预测任务时的性别偏见进行如下定义:
其中,M是模型,Y是要用M预测的单词,B是M的性别偏见程度。
Y
0
|W是ground truth,作为男性相关单词或女性相关单词的概率为二分之一,Y|W是M的预测。如果M的预测Y不平衡且分布在性别之间,则模型M在根据w预测Y
0
时存在性别偏见。在预训练过程中,优化算法会根据预训练数据D确定 嵌入部分 和K中的参数。
因此,数据不平衡D误导模型得到了不正确的参数。
比如,训练数据中的“医生”一词更常与男性词汇相关,模型就会想当然地将“医生”和“性别男性”联系起来。
看到这个三角形没,咱用它来解释一下,为啥现在的方法纠正AI会让它变笨。
当应用预训练模型,根据W预测Y时,模型首先将W转换为提取的X,然后根据X和K来确定Y的均值。
由于潜入部分的参数具有误导性,W被转换为不正确的X,而K也是不正确的。
一顿操作下来,错误的X和错误的K,一起导致Y出错。
这些错误及其相互作用,通过 三个潜在机制 导致性别偏见。
也就是说到了这一步,性别偏见就 产生 了。
而目前教育AI的去偏方法是怎么运作的呢?
目前所有的去偏方法都干预了三种机制中的一种或两种。
具体如下:
增强对D的数据干预,并在所有三种机制中进行干预。
通过消除X在K中的性别空间上的几何投影,切断了D→X→K→Y的路径。
性别平等正则化方法 要么扭曲了D与X的关系,要么扭曲了D与K的关系,因此这类方法干预了D→X→Y和D→X→K→Y的机制。
在解释了当前去偏方法中存在的 偏见-性能困境 后,团队尝试提出一种微调方法。
他们发现,三种机制中,有且仅有 D→X→Y 这种在导致性别偏见时,与transformer无关。
如果微调方法仅仅通过D→X→Y纠正偏差,就可以在减少性别偏见的同时,保持模型的性能。
根据分解定理,团队进行了数值实验。
结果证明,这种方法能够带来 双重红利 :
减少部分性别偏见,同时避免性能下降 。
经过实验,团队成员把AI性别偏见的来源定位于预训练模型的 两个架构 :词嵌入和转换。
据此,研究团队提出 C4D方法 ,即通过 调整标记嵌入 来减少性别偏见。
这个方法的核心思想是通过修正被误导的X,来缩小TDE函数,从而减少总偏差。
虽然团队也不知道正确的标记嵌入到底该是啥,但是他们开发了一种基于 梯度 的方法,来推断潜在的ground truth。
一切就绪,团队将C4D方法 应用于GPT-2 试验去偏结果。
结果表明,在所有测试方法中,C4D方法在小、中、超大型GPT-2上的困惑度都是最低。
在大型GPT-2中,C4D的困惑度排第二,只比最高分差了0.4%。
而且,得分最高的方法,对性别歧视的去偏效果低于C4D。
在GLUE数据集上,C4D方法获得了最高平均分。
这表明,C4D可以 明显地减少性别偏见,并保持模型性能 。
听了这么多理论方面的介绍,来看个图例直观感受一下。
下面三张图中, 蓝色的点 代表潜入的男性偏见, 红点 代表女性偏见。
图(a)是AI本来的理解;图(b)是人类无目的一通谩骂后,吓笨了的AI的理解;图(c)是人类找到原因,耐心讲解过后AI的理解。
在图(b)和(c)中,男性偏见和女性偏见的嵌入更加集中,这意味着偏见的水平较低。
同时可以注意到,图(c)中的嵌入仍然 保持了 图(a)中的拓扑结构,这也是C4D方法能够保持模型性能的原因。
“尽管这个方法可以有效缓解语言模型中AI对性别的偏见,但仍不足以完全消除。”
——研究者人员如实指出这个问题。
若想在不降低AI性能的条件下,进一步纠正AI的偏见,还 需 要更好地理解语言模型的机制 。
那怎样才能更好地理解?
一方面 ,是用本研究提出的“C4D方法”再去测试一下AI身上的其他偏见。
本实验的主要研究对象是:职场上的性别偏见。
而实际上,由于AI之前不断学习各种信息,属于来者不拒的那种,结果一不小心,还染上了宗教歧视、嫌黑爱白等社会固有的毛病……
所以,不妨去GPT-2上再测测去除其他偏见的最终效果。
另一方面 ,可以把“C4D方法”放到多种大模型上试试。
除了本研究用到的GPT-2,例如谷歌开发的NLP经典预训练模型 BERT ,也是一个不错的测试场景。
不过要移植到其他模型的话,需要重新生成校正模板,并且可能要用到多变量TDE (Template Driven Extraction) 函数。
通过运用TDE函数,你可以直接将内容放入索引,而不需要修改文档结构。
有网友抱着狗头来了:
总体来说,走进社会变成“失足AI”不可避免。
但想要“失足AI”浪子回头,找对方法,给它讲道理,还是会有不错效果滴~
另外,研究团队成员之一,清华大学的于洋在个人微博上表示,过两天还有个 关于AI模型性别歧视查询的网站 会上线。
可以期待一下!
融资丨「华卫恒源」完成数千万Pre-A+轮融资,丹麓资本领投,本轮融得资金将主要用于华卫恒源核心管线的安全性验证、工艺开发以及临床申报,后续
从热销国货看全球消费趋势,阿里巴巴国际站发布年度十大商品,12月5日,本土跨境电商平台阿里巴巴国际站发布2022年度十大商品,新能源、激光切
1、结构遥控器是一种远控机械的装置,遥控距离不小于7m,由主板、显示屏、按 键、后盖、前盖、电池盖等组成,控制电路单设有一个CPU,位于
手机或平板无法使用谷歌应用可能有以下几种原因:1 系统本身缺少GMS核心框架2 网络问题3 版本兼容性4 播放被禁用原因一:系统本身缺少GMS核
又有大批客户选择牵手百胜软件,通过E3+企业中台推动数字化建设,助力品牌迈入高效运营新时代,更好地实现品牌价值。
胜券支付与百胜POS系统打通,可统一对账后台,助力品牌商对账更加高效,业财管理更加便捷。
数字时代,借助数智化转型实现跨越式发展已成为大势所趋,企业中台标准化探索,无疑是一项引领未来发展趋势的前瞻性战略!
《行动计划》提出,到2026年,要在工业生产、智慧城市等虚拟现实重点应用领域实现突破。
如今交互智能技术加速发展,数字人正在从技术创新走向产业应用。