美国总统选举结果在帝国大厦照亮了。
特朗普胜利的教训不是数据已经死亡。 教训是数据有缺陷。 它一直是有缺陷的，总是会。
在唐纳德·特朗普星期二晚上赢得总统之前，每个人从Nate Silver到纽约时报到CNN都预测了特朗普的亏损，以及相当可观的利润。 “我们通常使用的工具来帮助我们评估发生了什么失败，”特朗普竞选记者哈勃曼在时代说。 正如哈伯曼解释的那样，这种情况发生在政治分歧的双方。
出现在MSNBC上，共和党的策略家迈克·墨菲告诉美国，他的水晶球打碎了。 “今晚，数据死了，”他说。
但这不是数据的失败，因为它是人们使用数据的失败。这是一个不愿相信数据太盲目的失败，而不是看它真的有多么缺陷。 “这是一个在数据科学和统计学限制下的案例研究”，一位曾在澳大利亚财政部工作的数据科学家安东尼·戈德布洛姆（Anthony Goldbloom）说，他现在经营着一家致力于数据科学家研究的公司Kaggle。 “统计和数据科学在正确的时候获得了比它应得的更多的信用，而当它不正确时，更多的责任比它应得的更多。
通过总统选举，这些限制是无数的。最大的问题是存在这么少的数据。美国只每四年选举一个总统一次，这是足够的时间，使世界显着变化。在这个过程中，数据模型很容易失去他们的方式。在选举前的几个月里，调查人员可以向人们询问他们的意图，但这比以往更难以从美国人的老式固定电话转移到手机，法律限制这样的电话。 Dan Zigmond说：“我们有时会自欺欺人地认为我们有很多数据，他负责监督Facebook的数据科学，之前处理过YouTube和Google地图的数据科学。 “但事实是，只有没有很多的基础上。有很小的样本规模，在某些方面，每次选举都是独一无二的。
在特朗普的胜利之后，“投资者商业日报”正在进行媒体报道，宣称它正确预测了选举的结果。 IBD发言人特里·琼斯（Terry Jones）说，部分伎俩是，这次民意调查比智能手机拨打的电话要多，而且他们所说的人民代表着全国各地的人。 “我们有一个代表性的样本，甚至使用的手机类型，”他说。但这次民意调查是例外，证明了规则：2016年总统选举的投票是有缺陷的。在未来的岁月里，选民和选民使用的技术将继续改变，确保未来的民意测验必须不断发展。
没有数据是完美的
随着世界使互联网成为其主要的通信手段，这种转变带来了更多数据的承诺 - 所谓的“大数据”，在硅谷营销。在选举前期，一家名为Networked Insights的公司挖掘Twitter上的数据和其他社交网络，以更好地预测选举风将吹向何方。它取得了一些成功 - 该公司预计比传统的民意调查聚合者更加紧张的比赛，其他公司和研究人员正在向类似的方向发展。但这个数据也有缺陷。通过投票，你直接询问真实的人。在互联网上，像Networked Insights这样的公司不仅必须找到从在线喋喋不休的海洋中确定意见和意图的准确方法，而且还需要建立一种好的方法，将伪造的喋喋不休与真实的，赢咖4从人类中分离出来。 “作为一个数据科学家，我总是认为更多的数据是更好的。但是我们真的不知道如何解释这些数据，“Zigmond说。 “很难弄清楚所有这些变量是如何相关的。
同时，至少在互联网巨头之间，更大的承诺是赢咖4将产生更好的预测，从未有过。但这仍然取决于数据，它永远不能真正提供一个完美的预测基础。深层神经网络不能预测选举，除非你给它的数据进行预测，以及事情的工作方式，这些数据必须仔细标记人类机器，以了解他们正在摄取。是的，AI系统已经非常擅长识别照片中的面部和对象，因为人们已经上传了如此多的数百万张照片到谷歌和Facebook已经的地方，照片的内容已被标记，神经网络可以学习“看”他们描绘。关于总统选举的相同类型的干净，有组织的数据不存在训练神经网络。
人们总是会说他们已经解决了这个问题。 IBD本周看起来很棒。与此同时，当周二唐纳德·特朗普向胜利迈进时，他的顶级数据大师马特·奥斯科夫斯基（Matt Oczkowski）告诉WIRED这个运动已经知道了几个星期的胜利是可能的。 “我们的模型正确地预测了大多数这些状态，”他说。但让我们看看这两个人，我们现在给予银和时代的怀疑。
当然，Oczkowski击落了“数据已死”的模因。 “数据活着和踢，”他说。 “这只是你如何使用它，以及你如何减少正常的政治趋势来了解你的数据。”在某种程度上，他是对的。但这也是问题的一部分。我们不知道Oczkowski的方法是什么。在数据科学中，人们倾向于选择支持他们观点的数据。这是一个问题，无论你使用基本的统计分析或神经网络。
“偏见进入任何分析的方式是选择数据的方式，”Goldbloom说。
换句话说，用于预测最近历史上最重要事件之一的结果的数据是有缺陷的。我们也是。
