图 9. Schneiders AI 生成的文案
从这个竞赛的结果可以看出，在文本生成这个领域，借助于强大的 GPT-3，AI 在实验环境中更胜一筹。当然，竞赛组织者并没对 AI 获胜做任何系统性、深入性的分析，仅仅是将参赛者的结果进行了展示和统计。我们认为，AI 获胜一方面是因为文本生成的先验数据库、预训练模型规模是非常大的。另一方面 GPT-3 等文本生成的算法 / 模型也是相对成熟的，属于 AI/ML 较早在实际场景中应用的方法。最后，参与实验的人类并没有特定的要求，例如对文字撰写、新闻宣传、行业背景有特殊的限定，所以人类生成的文案水平并不是很高。如果对参与者的行业身份、知识背景有所限定，会不会能够提升人类生成文案的水平呢？不过，不管怎样，文本生成领域的 AI 还是展现出了非常高的应用水平和价值。游易德
3 Humans 与 SML（Supervised Machine Learning）
这项工作关于一个学习曲线描述任务，拟解决的是在小样本量的前提下完成二进制分类任务时人类和有监督机器学习模型的学习曲线有哪些不同。具体的工作分析和结果在文献 [3] 中，并以预印的形式发布在 arxiv 中（http://arxiv.org/abs/2012.03661）。
学习曲线（Learning Curve）描述的是基于经验的任务表现。在该例子中，经验是由训练数据（Training Data）的数量来衡量的，更准确地说，是由训练实例（Training Instances）的数量来衡量的。任务表现受两个主要因素影响：执行任务的实体（人或机器）的特征和任务本身的特征。对于该竞赛中的监督式机器学习任务（Supervised Machine Learning，SML）来说，有四个任务特征很重要：输入、输出、实例和特征。
输入。输入描述了任务所依据的数据。它可以按数据类型（例如，数字或二进制）和数据表示方式（例如，表格、图片或音频）来区分。
输出。一个任务的需求产出也是不同的。在这种情况下，有两种类型的输出是相关的：分类和回归。分类确定每个实例是否属于预定的类别之一，而回归的结果是一个连续的数字。
实例。可供学习的实例数量。
特征。一个任务的实例由一定数量的不同特征来描述。
作者选择了一个以二进制作为输入、二进制分类作为输出，包含一小组训练实例和有限数量特征的任务。具体任务特征和实现方式见表 1。
表 1. 相关任务特征概述及其在本工作中的执行情况[3]
作者使用智能测试领域的两个测试任务作为具体实验基础，即最小智能信号测试（Minimum intelligent signal tests，MISTs）和 Raven 的渐进矩阵（Raven's progressive matrices， RPMs）。MISTs 是用来量化人类人格（Humanness）的二进制问题。与其他智力测试相比，这些问题不需要复杂的答案，只需要简单的" 是 "或" 否 "，这就满足了对二进制输出的限制。然而，输入的是自然语音，而不是一组几个、二进制特征。
RPM 是一个关于由规则设计的视觉几何对象的测试。任务是通过从六个或八个选项中选择一个对象来完成一组视觉几何对象，其中，只有一个可选择的对象符合规则。如图 10 的示例，RPMs 有一个图形化的表示方法，可以将其简化为一组带有一些二进制特征的实例，从而得到标准化的实例。但是，这项测试不具备二进制输出。通过结合这两个测试，我们得出以下任务：游易德
为了获得相同数量的特征，只使用 3x3 矩阵，有 9 个元素（=9 个特征），每个特征都是二进制的。据此，有一组 2^9 =512 个二元矩阵。这些矩阵可以显示为黑白元素的图片（对人类而言），也可以显示为特征为 1 和 0 的数字列表（对机器而言）。图 10 给出了同一个实例分别对人类和机器进行表示的例子。
图 10. 具有 x1 至 x9 特征的实例的人和机器示意图
