41岁的John Gass收到了马萨诸塞州汽车登记处的一封信。这封信告诉Gass他的驾驶执照已被撤销，他应该停止开车，立即生效。唯一的问题是，作为一个良心的司机谁没有收到如此多的交通违反多年，Gass不知道为什么它被发送。
经过几次疯狂的电话，后来跟注册管理机构官员的一次听证会，他学到了原因：他的形象已经被面部识别算法自动标记，设计用于扫描数百万国家驾驶执照寻找潜在的犯罪假身份的数据库。该算法已经确定，Gass看起来足够像另一个马萨诸塞州司机，犯规发生可能涉及 - 和汽车登记处的自动信函是最终的结果。
RMV本身是不同意的，声称被控个人在发生任何错误时清除其姓名的“负担”，并认为保护公众的优点远远超过了对错误目标的人的不便。
约翰·加斯几乎不是一个孤独的算法失败的受害者。 2007年，加州卫生部新的自动计算机系统的故障终止了数千名低收入老年人和残疾人的福利。没有他们的保险费，医疗保险取消了那些公民的医疗保险。
如果以前的系统通过向他们发送通过邮件发送的信件通知不再有资格获得福利的人，则更换的CalWIN软件被设计为在没有通知的情况下将其删除，除非他们手动登录并防止这种情况发生。结果，大量中止了保险费的人没有意识到发生了什么，直到他们开始通过邮件收到昂贵的医疗费用。即使那时，许多人缺乏必要的英语技能，能够在线医疗保健系统，以找出出了什么问题。
类似的错误也使选民在没有通知的情况下从选民名册中删除，小型企业被标记为不符合政府合同的标准，以及被误认为是“失业”父母的个人。在后者的一个显着的例子中，56岁的机械师沃尔特·沃尔默被联邦父母定位器服务错误地瞄准，并发出了儿童支持费用206,000美元。 Vollmer的32岁的妻子在后果中变得自杀，相信她的丈夫在他们的大部分婚姻中一直在领导一个秘密生活。
同样令人担忧的是，一个算法可能错误地将个人描述为恐怖分子：每周大约1500名不幸的航空旅行者的命运。过去由于数据匹配错误而被指责的人包括前陆军专业，一名四岁的男孩和一名美国航空公司的飞行员，他们在一年的时间里被拘留了80次。
许多这些问题是新的角色算法在执法中的结果。由于削减的预算导致人员削减，自动化系统已经从简单的管理工具转变为主要决策者。
在许多情况下，问题不仅仅是为工作找到正确的算法，而是关于相信任何和所有任务可以自动开始的问题性质。例如，使用数据挖掘来发现恐怖分子。由于这种攻击在统计上是罕见的，并且不符合明确定义的配置文件，例如，亚马逊购买的方式，个人旅行者最终投降大量的个人隐私到数据挖掘算法，只有少量但虚假的警报为它显示。作为着名的计算机安全专家Bruce Schneier指出：
寻找恐怖阴谋。 。 。是一个针头在一个干草堆问题，并且在堆上投入更多的干草不会使这个问题更容易。我们最好让人们负责调查潜在的地块，让他们指挥电脑，而不是由电脑负责，让他们决定谁应该调查。
虽然很清楚为什么这样的感性主体将被认为对于公式成熟，中心问题再次归结于算法客观性的光谱承诺。马里兰大学法学教授Danielle Citron说：“我们都害怕人的偏见和不一致。 “同时，我们对计算机可以做什么是过分自信。
Citron提出的错误是，我们“信任算法，因为我们认为它们是客观的，而现实是人类工作那些算法，并可以嵌入他们各种偏见和观点。”换句话说，计算机算法可能在其执行中是无偏的，但是，如所指出的，这并不意味着在其内不存在偏差编码。
隐性或显式偏见可能是一两个人类程序员的工作，或者归结为技术困难。例如，在面部识别技术中使用的算法在过去显示出比男性更高的识别率，而对于非白色起源的个体而不是对于白人。
一个算法可能不会针对一个非裔美国人的男性为明显的偏见的原因，但事实是，它更可能这样做，而不是针对一个白人女性意味着最终的结果没有什么不同。偏差也可以来自隐藏在数据集的相关混乱中的抽象模式。
考虑非裔美国人的哈佛大学博士Latanya Sweeney的故事。 Sweeney在Google上搜索一天，震惊地注意到她的搜索结果伴随着广告，“你有没有被逮捕过？”这些广告没有出现在她的白人同事身上。 Sweeney开始了一项研究，最终证明Google搜索背后的机器学习工具是无意中的种族主义，通过将更常见的黑人名字与逮捕记录相关的广告。
类似的启示是，Google Play的推荐系统建议用户下载Grindr（一个基于位置的同性恋社交网络工具），同时也下载了性犯罪者位置跟踪应用。在这两种情况下，我们是假设算法出现错误，还是它们揭示了制造者的内在偏见？或者，更有可能的是，它们是否揭示了令人讨厌的大规模文化协会 - 在前一种情况下 - 黑人和犯罪行为 - 和后者 - 同性恋和掠夺行为？
无论什么原因，无论这些编码链接可能是多么应受谴责，它们展示了算法文化的另一部分。显示偏见的单个人只能影响有限数量的人。另一方面，算法具有以指数方式更多地影响生命的潜力。
