您的位置:首页-公司动态 - NIST最新新闻- 美国NIST发起了“公平排名”研究工作测量数据中的偏差

美国NIST发起了“公平排名”研究工作测量数据中的偏差

发布时间:2019.11.18 新闻来源:NIST标准品_EDQM标准品_TRC标准品_EP标准品_标准品供货商_东莞市景源实验科技有限公司 浏览次数:
可测量的“公平搜索”并不总是将完全相同的答案列表返回给重复的相同查询。取而代之的是,该软件会在每次搜索运行时都考虑答案的相对相关性,从而使不同的,可能有趣的答案有时在列表中显得更高。
美国国家标准技术研究院(美国NIST)的一项新研究旨在解决我们数据驱动的社会中一个普遍存在的问题:缺乏公平性,有时我们会从信息检索软件中得到答案。

这类软件无处不在,从流行的搜索引擎到鲜为人知的算法,可帮助专家梳理数据库。该软件通常会结合人工智能的形式,以帮助其学会随着时间的推移做出更好的决策。但是,这些决策基于接收到的数据,并且如果该数据以某种方式存在偏差,则该软件还将学会做出反映该偏差的决策。这些决定可能会给现实世界带来影响,影响流媒体服务向音乐艺术家提出的建议以及您是否被推荐参加工作面试。

“现在已经认识到,系统并非没有偏见。美国NIST计算机科学家Ellen Voorhees表示,由于系统训练的历史数据,它们实际上可以放大现有偏差。“系统将学习这种偏见,并建议您采取能够反映这种偏见的行动。”

为了解决这个问题,NIST推出了公平排名这是其长期的文本检索会议(TREC)的一部分,该会议将于本周在NIST位于马里兰州盖瑟斯堡的校园举行。这条赛道是由微软,博伊西州立大学和NIST的研究人员提议和组织的,它本质上是一个新的研究领域的孵化器,旨在协调围绕公平观念的研究。通过寻找适当的方法来衡量数据和搜索技术中的偏差量,组织者希望找到消除该偏差的策略。

“我们希望开发一种服务于所有用户的系统,而不是使某些人受益。”蒙特利尔微软研究院的博士后研究员,该组织的联合组织之一Asia Biega说。“我们正在努力避免开发会加剧现有不平等现象的系统。”

同时意识到麻烦有偏见的数据会造成越来越多,在数据集和搜索工具中定义和评估公平性的方法也有很多。为了使研究工作集中精力,组织者选择了特定搜索工具使用的一组特定数据:语义学者搜索引擎,由非营利性艾伦人工智能研究所开发帮助学者搜索与其领域相关的论文。艾伦研究所(Allen Institute)为TREC提供了一个400 GB的数据库,用于查询语义学者,返回的答案的结果列表以及(作为衡量每个答案与搜索者的相关性的指标)每个答案收到的点击次数。

组织者还选择集中精力解决经常在商业搜索引擎结果和学术搜索研究论文中出现的问题:每次运行特定搜索词后,相同答案都出现在列表顶部。

学术搜索的一个问题是,他们通常会返回来自高级机构的最著名研究人员的论文清单。从某种意义上说,这种排名方法是有道理的,因为尽职尽责的科学家希望表明他们在声称发现新事物之前已经回顾了最相关的过去研究。同样,当我们使用互联网搜索工具时,我们可能不介意在我们搜索的顶部没有看到一家知名公司,而该公司却鲜为人知。

如果我们正在寻找最流行的答案,则此结果很好,但是,如果有大量有价值的答案,则是有问题的。可以肯定的是,我们中的某些人确实会滚动浏览结果页面,但是总的来说,大多数使用搜索工具的人都不会超越第一页。

Biega说:“第一页上的结果会影响人们在现实世界中的经济生计。” 搜索引擎具有放大曝光率的能力。第一页上的任何人都会得到更多。”

按照研究轨迹的衡量,一个公平的算法不会总是以相同的顺序返回完全相同的文章列表来响应查询,而是会给其他文章公平的曝光率。在实践中,这意味着更多的知名文章可能仍会更频繁地出现,而较不显眼的文章则不会那么频繁出现-但是返回的列表并不总是相同的。它会包含与搜索者需求相关的答案,但是会以可量化的方式变化。 

当然,这不是定义公平的唯一方法,Voorhees说,她不希望有一个单独的研究项目能够解决如此广泛的社会问题。她确实说,量化问题是适当的第一步。

她说:“对我们来说,足够有效地测量系统中的偏差量以进行研究非常重要。” “如果要尝试,我们需要对其进行衡量。”

NIST标准品_EDQM标准品_TRC标准品_EP标准品_标准品供货商_东莞市景源实验科技有限公司公平排名赛道对所有感兴趣的研究团队开放。NIST将于今年12月进行正式召集,以参加2020 TREC,该会议将于2020年11月18日至20日在马里兰州的盖瑟斯堡举行。 
本文共分 1
分享到:
上一篇:EDQM将举行的迎接世界药典研讨会于2020年2月20日在法国斯特拉斯堡
下一篇:没有了