美国AI招聘被诉!Eightfold AI“十亿数据”黑箱引争议!

一场针对AI招聘技术巨头Eightfold AI的集体诉讼近日在美国加利福尼亚州浮出水面,揭示了人工智能在招聘领域可能存在的“黑箱操作”及其引发的公平性争议。这起案件的核心,是一名拥有丰富经验的科技行业资深人士,在申请众多职位时屡遭自动拒绝,最终发现这些公司背后都使用着同一套AI招聘系统。
Erin Kistler女士拥有俄亥俄州立大学的计算机科学学位,曾在微软担任项目经理近六年,并在产品管理领域拥有19年经验,涵盖人工智能、数据管理系统和用户体验技术等多个方面。然而,在过去四年中,她在向PayPal、微软、Netflix等知名企业申请符合其资历的职位时,却不断收到自动拒绝通知。
Kistler女士表示,她申请了数百个职位,但总感觉有一股看不见的力量阻碍她获得公平的考量。这种经历令人沮丧,她相信自己并非唯一有此感受的人。每一次收到自动拒绝通知后,Kistler女士都会发现其申请链接中包含“eightfold.ai/careers”的字样。这使得她意识到,这些招聘公司都与一家名为Eightfold AI的公司合作,后者提供基于人工智能的招聘和雇佣服务。
诉讼聚焦AI招聘“黑箱”运作
Kistler女士是近期在加利福尼亚州法院针对Eightfold AI提起的诉讼中的两名原告之一。Eightfold AI公司提供基于AI的背景调查和信用调查服务,其金融行业客户包括BNY、摩根士丹利(Morgan Stanley)和PayPal。截至目前,这些公司均未对该诉讼发表评论。此案凸显了银行及其他企业在利用AI筛选大量求职申请时所面临的潜在风险。
事实上,雇主们多年来一直意识到在招聘中使用人工智能的潜在危险。例如,许多银行使用的视频面试系统供应商HireVue,其AI分析应答的功能曾多次因涉嫌歧视残障人士而遭到起诉。除了HireVue或Eightfold AI,人工智能已广泛嵌入许多公司用于招聘、人才管理及其他人力资源环节的系统中。
根据非营利法律事务所Towards Justice提起的这份新诉讼,Eightfold AI被指控“利用隐蔽的AI技术收集求职者的敏感且通常不准确的信息,并根据其所谓的‘工作成功可能性’,为潜在雇主打出0到5的分数。”
诉讼指出,Eightfold AI的技术在求职申请的后台运行,“对于数千名求职者而言,他们甚至可能不知道Eightfold AI的存在,更不用说该公司正在收集他们的个人数据,例如社交媒体资料、位置数据、互联网和设备活动、Cookie及其他追踪信息,以创建关于候选人行为、态度、智力、能力和其他特征的档案,而这些信息是求职者从未在他们的职位申请中包含的。”
诉讼还称,求职者在Eightfold AI的AI生成报告影响其是否获得职位决定之前,没有机会审阅或对报告中的信息提出异议。
Towards Justice执行董事David Seligman指出,尽管Eightfold AI拥有听起来“花哨”的人工智能技术并获得风险投资支持,但这并不能使其凌驾于法律之上。他强调,Eightfold AI等人工智能系统正在对人们获得工作、住房和医疗保健做出改变人生的决定。因此,必须确保这些系统遵循现有法律,并提供公平、透明和准确等最基本的保障。
Eightfold AI的回应与争议焦点
Eightfold AI的一位发言人表示,该诉讼中的指控毫无根据。他声称,Eightfold AI平台运行的数据是求职者主动共享或客户提供的数据,公司不会“潜伏”或“抓取”个人网络历史或社交媒体来建立秘密档案。该发言人强调,Eightfold AI深切致力于负责任的人工智能、透明度以及遵守适用的数据保护和就业法律。
Eightfold AI方面表示,公司使用的是求职者选择提交的技能、经验和教育信息,以及经客户授权的数据。然而,Towards Justice的律师Rachel Dempsey指出,Eightfold AI自己的声明表明该公司确实从互联网上摄取信息。Dempsey女士表示,他们的指控是基于Eightfold AI创建了一个大语言模型(LLM),该模型从在线的各个地方获取了大量信息。Eightfold AI的一大卖点就是声称拥有超过十亿条数据,这些数据都输入到大语言模型中,并最终生成评估结果。
Eightfold AI发言人还称,求职者有机会查看并在必要时纠正Eightfold AI所收集的数据。他认为这是其平台众多差异化优势之一,Eightfold AI提供专门的体验,让求职者可以查看系统使用的简历信息,纠正不准确之处,并准确地展示他们的技能。
然而,Dempsey女士指出,该案件中的原告从未获得查看导致他们被自动拒绝的数据或纠正任何不准确信息的能力。Dempsey女士认为,这起诉讼的核心是一个直接的隐私问题。她担忧,未来人们可能会陷入这种“黑箱”困境,感觉自己被这些就业筛选公司列入黑名单,却不知道原因。
根据诉讼,Kistler女士在申请过程中从未收到通知,告知将获取基于其个人数据的消费者报告以评估其就业申请。她也未收到消费者保护权利摘要,或关于Eightfold AI的名称、地址、电话号码、网站地址和隐私实践等联邦和州法律要求的其他信息。Kistler女士声称,在求职申请过程中,她没有机会选择不收集和评估她的消费者数据用于就业目的。诉讼指出,Eightfold AI使用其收集的消费者报告信息,根据Kistler女士的申请与其他申请人的数据进行评分。
Dempsey女士强调,人们有权对其公开信息拥有某种程度的控制。她还指出,Eightfold AI的一个关键问题在于,它将个人档案通过大语言模型进行处理,从而对他们做出重要预测。这些预测可能并不总是准确的,并且可能受到歧视性输入的影响,而求职者却无法了解这些决定是如何做出的,大语言模型对人们说了什么,以及它是如何得出这些结论的。根据联邦《公平信用报告法案》,模型数据来源缺乏可见性以及无法纠正,本身就是一种伤害。
负责任AI的挑战与监管
Eightfold AI表示,它使用“匹配分数”(Match Score)来确定求职者是否适合某个职位。公司发言人解释称,这不是一个通用的或可移植的分数,不会跨公司或无关职位跟随求职者,并且它不是在脱离职位背景的情况下生成的。Eightfold AI的AI模型是“辅助性的”,它不会拒绝申请人。该模型只是系统的一部分:匹配分数是由雇主如何定义他们的职位要求和标准驱动的,AI评估的是与这些输入的一致性。
Eightfold AI公司发言人还透露,其AI模型在反映技能、经验和与工作相关的属性的大型、多样化数据集上进行训练。他表示,像所有现代AI系统一样,他们的模型从历史数据中学习模式,但其明确设计目标是不复制过去的偏见。他们应用匿名化、严格的公平性测试、偏见缓解技术和持续监控,以确保结果独立于受保护的特征,并且其技术旨在支持人工决策,而非取而代之。负责任的AI和公平性是Eightfold AI构建和部署模型的基础。
新媒网跨境了解到,该公司提供候选人遮蔽等工具,可以隐藏姓名或性别等个人身份信息,以确保招聘人员在做出招聘决策时专注于候选人的资格。该公司还定期进行内部和外部的偏见测试,包括纽约市地方法律144号(NYC Local Law 144)等法规要求的独立第三方偏见审计。它进行差异影响分析(disparate-impact analysis),以衡量系统结果对于不同群体是否存在显著差异。同时,它还进行均衡赔率检查(equalized odds checks),以验证模型在不同人口统计群体中的准确性是否一致。
Kistler女士不愿猜测她收到如此多自动拒绝的原因,但Dempsey女士指出,此案中的两名原告都是拥有STEM背景的女性,她们符合所申请职位的资格,却持续被拒绝。Dempsey女士表示,她们都渴望获得工作,渴望分享和发展自己的技能,却被拒之门外,却不知道原因,这非常痛苦。而这些AI职位筛选工具是其中一个主要原因。
新媒网认为,加利福尼亚州的一家法院需要裁定Eightfold AI是否违反了任何法律。与此同时,人们在被自动化系统拒绝工作时所感受到的挫败感是真实存在的,无论其中是否涉及AI模型。正如一位行业观察家所指出的那样,“二三十岁的年轻人对AI、深度伪造等技术越来越警惕,并认为求职过程的‘黑箱操作’令人沮丧和去人性化。”此案的进展无疑将对整个AI招聘行业的未来发展和监管走向产生深远影响,促使行业更加关注AI的透明度、公平性和伦理问题。
新媒网(公号: 新媒网跨境发布),是一个专业的跨境电商、游戏、支付、贸易和广告社区平台,为百万跨境人传递最新的海外淘金精准资讯情报。
本文来源:新媒网 https://nmedialink.com/posts/eightfold-ai-sued-ai-hiring-black-box.html


粤公网安备 44011302004783号 











