根据CIO网站发布的《2023年CIO状况》报告，34%的IT领导者表示，数据和业务分析将成为他们所在企业今年最大的IT投资驱动力。而26%的IT领导者表示，机器学习/人工智能将推动最多的IT投资。从分析中获得的洞察力和机器学习算法驱动的行动可以为企业带来竞争优势，但失误可能会在声誉、收入甚至生命方面造成巨大损失。
了解你的数据和它告诉你的信息固然重要，但同样重要的是掌握你的工具、了解你的数据，并牢记组织的价值观。
以下这些在过去十年中发生的备受瞩目的统计分析和人工智能方面的失误，提示我们可能出现的问题。
美国有线电视新闻网（CNN）指出了互联网档案馆WaybackMachine保存的一个例子，它的开篇是这样写的：“周六，在俄亥俄州的一场男子足球比赛中，WorthingtonChristian队[WINNING_TEAM_MASCOT]以2-1的比分击败了WestervilleNorth队[LOSING_TEAM_MASCOT]。”
CNN在其他地区的Gannett集团所属的报纸上也发现了由LedeAI撰写的类似报道，包括《路易斯维尔信使报》、《亚利桑那中央报》、《今日佛罗里达》和《密尔沃基哨兵报》。
这些报道的行文在社交媒体上遭到广泛嘲讽后，Gannett选择在所有使用LedeAI服务的地方媒体上暂停使用该服务。
2023年8月，家教公司iTutorGroup同意支付36.5万美元，以解决美国平等就业机会委员会（EEOC）提起的诉讼。联邦机构称，这家为中国学生提供远程辅导服务的公司使用人工智能驱动的招聘软件，自动拒绝55岁及以上的女性申请人和60岁及以上的男性申请人。
平等就业机会委员会称，该软件自动拒绝了200多名合格的求职者。
iTutorGroup否认有任何不当行为，但决定就诉讼达成和解。作为和解和同意令的一部分，iTutorGroup同意采取新的反歧视政策。
大型语言模型（LLM）在2023年取得的进展激发了人们对生成式人工智能在几乎所有行业的变革潜力的广泛兴趣。OpenAI的ChatGPT是这股热潮的中心，它预示着生成式人工智能将如何在几乎所有商业领域颠覆工作的本质。
但这项技术要想可靠地接管大多数业务流程还有很长的路要走，正如StevenA.Schwartz律师在2023年发现自己与美国地区法官P.KevinCastel发生争执时所了解到的那样，他在起诉哥伦比亚航空公司Avianca时使用了ChatGPT来研究先例。
Schwartz是Levidow,Levidow&Oberman律师事务所的律师，他使用OpenAI生成式人工智能聊天机器人查找以前的案例，以支持Avianca航空公司雇员RobertoMata就其在2019年所受伤害提起的诉讼。你一定会关心问题是什么？问题是辩护状中提交的案例中至少有6个是不存在的。在5月份提交的一份文件中，Castel法官指出，Schwartz提交的案件包括虚假的名称和备审案件号，以及虚假的内部引用和引文。Schwartz的合伙人PeterLoDuca是Mata的注册律师，并在辩护状上签了名，这也让他自己陷入了危险之中。
2023年6月，Castel法官对Schwartz和LoDuca处以5000美元的罚款。在今年6月的另一项裁决中，Castel法官驳回了Mata对Avianca航空公司的诉讼。
自COVID-19大流行开始以来，许多机构都在寻求应用机器学习（ML）算法来帮助医院更快地诊断或分流病人。但据英国TuringInstitute（英国的国家数据科学与人工智能研究机构）称，这些预测工具几乎没有起到任何作用。
剑桥大学的机器学习研究员DerekDriggs及其同事在《NatureMachineIntelligence》杂志上发表了一篇论文，探讨了使用深度学习模型诊断病毒的问题。论文认为该技术不适合临床使用。例如，Driggs的研究小组发现，他们自己的模型存在缺陷，因为该模型是在一个数据集上训练的，该数据集包括躺姿扫描的病人和站姿扫描的病人。躺着的病人更有可能患重病，因此算法学会了根据扫描过程中人的姿势来识别COVID风险。
类似的例子还包括使用数据集训练算法，该数据集包括健康儿童的胸部扫描结果。该算法学会了识别儿童，而不是高风险患者。
2021年11月，在线房地产市场Zillow向股东表示，将在接下来的几个季度里关闭ZillowOffers业务，并裁员25%，约2000人。旧屋翻新部门的困境是其用于预测房价的机器学习算法的错误率造成的。
ZillowOffers是该公司根据机器学习算法Zestimate对房屋估价后对房产进行现金收购的项目。他们的设想是翻新这些房产，然后迅速出售。但Zillow发言人告诉CNN，该算法的中位误差率为1.9%，而那些未公开出售房屋资源的误差率可能更是高达6.9%。
CNN报道称，自2018年4月推出ZillowOffers以来，Zillow通过该平台购买了2.7万套房屋，但截至2021年9月底仅售出1.7万套。COVID-19大流行和房屋装修劳动力短缺等黑天鹅事件导致了该算法的准确性出现问题。
Zillow表示，该算法导致其无意中以高于目前对未来售价估计的价格购买了房屋，导致2021年第三季度的库存减记达3.04亿美元。
2019年，发表在《科学》（Science）杂志上的一项研究显示，美国各地的医院和保险公司用来识别需要“高风险护理管理”项目的患者的医疗预测算法，不太可能将黑人患者纳入其中。
高风险护理管理计划为慢性病患者提供训练有素的护理人员和初级保健监测，以预防严重并发症的发生。但与黑人患者相比，该算法更倾向于推荐白人患者参加这些项目。
研究发现，该算法将医疗支出作为确定个人医疗需求的替代指标。但据《科学美国人》报道，病情较重的黑人患者的医疗费用与较健康的白人患者的费用相当，这意味着即使他们的需求更大，他们得到的风险评分也较低。
该研究的研究人员认为，可能有几个因素造成了这种情况。首先，有色人种更有可能收入较低，这可能使他们即使有保险也不太容易获得医疗服务。隐性偏见也可能导致有色人种获得较低质量的医疗服务。
虽然这项研究没有指出算法或开发者的名字，但研究人员告诉《科学美国人》，他们正在与开发者合作解决这一问题。
2016年3月，微软了解到，使用Twitter互动作为机器学习算法的训练数据可能会产生令人沮丧的结果。
微软在社交媒体平台上发布了人工智能聊天机器人Tay。该公司将其描述为“对话理解”实验。当时的设想是，这个聊天机器人将假扮成一个十几岁的女孩，利用机器学习和自然语言处理相结合的方法，通过Twitter与个人互动。微软将匿名的公共数据和一些喜剧演员预先写好的材料作为种子，然后让它在社交网络的互动中学习和发展。
在16个小时内，聊天机器人发布了95,000多条推文，这些推文迅速变成了明显的种族主义、歧视女性和反犹太言论。微软迅速暂停该服务进行调整，并最终拔掉了插头。
事件发生后，微软研究与孵化部门企业副总裁（时任微软医疗保健部门企业副总裁）PeterLee在微软官方博客上发文写道：“我们对Tay无意中发出的攻击性和伤害性推文深表歉意。这些推文并不代表我们的身份和立场，也不代表我们设计Tay的方式。”
Lee写道：“尽管我们已经为许多类型的系统滥用做好了准备，但在这次特定的攻击中，我们还是出现了严重的疏忽。结果，Tay在推特上发布了大量不恰当且应受谴责的文字和图片。”
与许多大公司一样，Amazon也渴望获得能帮助其人力资源部门筛选最佳人选的工具。2014年，Amazon开始研发人工智能驱动的招聘软件来实现这一目标。问题只有一个：该系统极度偏爱男性求职者。2018年，Reuters爆料称，Amazon已经取消了该项目。
Amazon的系统会给应聘者打1到5分的星级，但系统核心的机器学习模型是根据10年来向Amazon提交的简历训练出来的，其中大部分来自男性。训练数据的结果是，该系统开始惩罚简历中包含“女性”一词的短语，甚至给来自全女子学院的应聘者降级。
当时，Amazon表示，Amazon的招聘人员从未使用过该工具来评估应聘者。
该公司试图编辑该工具，使其保持中立，但最终决定不能保证它不会学到其他歧视性的应聘者排序方法，因此终止了该项目。
Target公司的市场营销部门希望识别出怀孕的人，因为在人生的某些时期，人们最有可能彻底改变自己的购买习惯，怀孕就是其中之一。如果Target能在这个时期接触到顾客，就可以培养这些顾客的新行为，让他们到Target购买日用品、服装或其他商品。
与所有其他大型零售商一样，Target一直在通过购物代码、信用卡、调查等方式收集顾客数据。它将这些数据与人口统计数据和购买的第三方数据进行了整合。Target的分析团队通过对所有数据的分析，确定了Target销售的约25种产品可以通过综合分析得出“怀孕预测”分数。市场营销部门就可以针对高分顾客提供优惠券和营销信息。