热门:1750亿参数，史上最大AI模型GPT

本篇文章5863字，读完约15分钟

机器的心

机心报道

机器的心

时隔一年，openai发布的预备训练语言模型gpt-3再次令人瞠目结舌。

“我们训练了gpt-3。 一种具有1750亿参数的自回归语言模型，这个数字比以往任何非疏散语言模型都多10倍。 我用few-shot测试了性能。 "。

本周五，openai提出的gpt-3在社会交流网上掀起了新的风潮。 其参数量是2月发售的世界最大深度学习模型turing nlp的10倍。 另外，不仅善于解答、翻译、复印，而且具有数学计算能力。 这样强烈的深度学习会引起真正的ai是否会来的错觉。

首先，gpt-3最吃惊的是模型量，它采用的最大数据集在解决前的容量达到了45tb。 根据openai的计算能力统计单位petaflops/s-days，训练alphagozero需要1800-2000pfs-day，但openai提出的gpt-3似乎使用的是3640pfs-day。

研究者们希望gpt-3成为更通用的nlp模型，处理现在的bert等模型的两个缺点是对行业内的标记数据的过度依赖和对行业数据分布的过度拟合。 gpt-3致力于在不进行精细调整处理问题的情况下采用更少的特定行业。

和往常一样，gpt-3很快发布了github项目的页面，但现在只是生成示例和数据集，没有代码: github/openai/gpt-3。

但是，虽然驻在国并不那么快，但是在issue中，如果参数这么多，gpt-2亿参数等于6g，gpt-3模型可能是700g。 旧硬盘还不能安装。 不是普通人能玩的旋转。

年3月是机器学习的先驱，艾伯塔大学教授richard s. sutton的着名文案《痛苦的教训》开头进行了叙述。 “70年的人工智能研究史告诉我们利用计算能力的通常做法最终是最有效的做法。 "。

gpt-3的提案让开发者哭了，大学老师保持沉默，黄仁勋可能会觉得肩上的担子加重了。 你还记得几周前刚结束的gtc吗？ 英伟达CEO Keynote有关于近年来人工智能行业最大的深度学习模式的网页。

英伟达说，年底推出tesla v100后，训练最大模型的计算能力增加了3000倍。 这里gpt-2也不在最高位置。 微软今年2月推出的turing nlg(170亿参数)、英伟达的megatron-bert(80亿参数)名列前茅。 gpt-3放在这张表里，把量表再往上挪一点。

另外还有网民吐槽，gpt-3共计72页的论文长度也是绝望的。

下次更大的模型，论文的长度可能不一定会是100。

但是，巨大的参数量带来的拷贝生成效果也相当大，所以让我们来看看gpt-3能否实现写信息的能力、写小说的能力，以及写论文的能力。

gpt-3 :我是gpt-2的“终极进化版”。

年初，openai推出了通用语言模型gpt-2，生成了一致的拷贝段落，以多种语言建模标准获得了sota性能。 这个基于transformer的大规模语言模型总共包含15亿参数，训练有800万页的数据集。 gpt-2直接扩展了gpt模型，以超过10倍的数据量进行训练，参数量也多了10倍。

但是长江后浪推着前浪。 昨天，openai推出了gpt-3机型。 1750亿参数量是gpt-2的116倍。

gpt-3的论文作者达到31人，openai、约翰霍普金斯大学的dario amodei等研究者在gpt-3中，对于所有的任务，模型不进行梯度更新和微调，与模型的复制对话，指向任务和少量的例子。

gpt-3在多个nlp数据集(包括翻译、问答和副本填充任务)中提供了出色的性能。 此外，还包括将一句话中的单词替换为同义词、执行3位数学运算等需要即时推理和行业适应的任务。

当然，gpt-3也可以制作信息报道的样本。 机器写的复印件和人类写的复印件很难区分。

信息生成

据《华盛顿邮报》报道，经过两天的激烈讨论，联合卫理公会同意成立新教派，还是在神学和社会意义上走向保守的历史性分裂。 参加5月教会年度会议的代表投票大部分赞成加强任命lgbtq神职人员的禁令，制定“惩戒”主持同性婚姻的神职人员的新规则。 但是，反对这些措施的人制定了新计划，即年形成新的宗派“基督教卫士协会”。

据华盛顿邮报报道，联合卫士协会是主张拥有1250万会员的组织，在20世纪初曾是“美国最大的新教徒派”，但最近几十年萎缩了。 这次新的分裂将是该教会历史上的第二次分裂。 这是第一次发生在1968年，当时几乎只有10%的成员组成了“福音联合兄弟会”。 《华盛顿邮报》指出，现在提出的分裂“对多年来持续失去成员的联合卫理公会来说，正是时候”，指出“因lgbtq的作用问题，将这个教派推向了分裂的边缘”。 同性婚姻不是分裂教会的唯一问题。 年，这个教派因任命性神职人员而分裂。 北太平洋地区会议的投票禁止成为神职人员，但南太平洋地区会议的投票允许成为神职人员。

弄清楚这不是新闻记者写的短信息吗？

gpt-3用实力告诉你答案:不。

加上“联合卫理公会同意这种历史分裂”的标题和“反对同性恋结婚的人建立自己的宗派”的副标题，gpt-3生成了这样的信息。

问问看能不能看到。 反正我承认输了……

在openai的测试中，人类判断者也不容易评价该信息的真伪，检测精度仅为12%。

但是，gpt-3也可能会失手。 例如对gpt-3生成的以下短文，人类评价真伪的准确率达到了61%！

根据openai的统计，人类用gpt-3 175b模型生成的约500个词的副本的评价精度为52%，但与gpt-3 control模型(没有上下文和输出的随机性，只具备1.6亿参数的模型)相比，GPT 果然很暴力啊！

《牙学语》，gpt-3的造句能力

给出新单词及其定义，造新句子。 很难吗？ 这需要你理解单词的意思和适用语境。 openai研究者测试了gpt-3在这个任务中的能力:给出不存在的单词(例如“gigamuru”)，用它来造句。

看看gpt-3的生成结果。

给出新单词“gigamuru”(代表日本乐器)。

gpt-3叔叔给我送了gigamuru。 我喜欢在家弹。

缝合牢固，非常合理，完美！

再看看另一个动词的例子

给新单词“screeg”(挥剑，挥剑)。

gpt-3写了一篇文章，说我们击剑几分钟后出去吃冰淇淋了。

还可以。

接下来，我们来看看gpt-3的其他能力。

语法的错误订正

如果有语法错误，就让gpt-3评级。

在第一个例子中，原话中删除了两个并列动词“was”和“died”，gpt-3删除了系动词“was”，将其改为正确的句子。

在第二个例子中，原话likes之后的ourselves是we的反证代词，但这里like这个动作的执行者是leslie，即使在这个likes之后使用反证代词的情况下，也应该是himself，另一个修订法是把反证代词

宾果！ gpt-3是正确答案。

看完gpt-3的纠错效果，英语老师真高兴。 学生很害羞。

gpt-3还会算题吗？

除了英语老师高兴，数学老师也不会跑。 gpt-3可以执行简单的计算。

openai研究者在以下10个任务中测试了gpt-3进行简单计算的能力，不需要任务特定的训练。

这十个任务分别是两位加减、三位加减、四位加减、五位加减、两位乘法和一位混合运算。

测试gpt-3计算能力的十项任务。

在这十项任务中，模型必须生成正确的答案。 该研究为每个任务生成一组包含2000个随机实例的数据集，并在这些实例上判断所有模型。

下图显示了gpt-3(few-shot )在这十项计算任务中的性能。 由图可知，小模型的性能差，即使是具有130亿参数的模型(仅次于1750亿的gpt-3完善版模型)，解决两位数加减运算的精度也在50%左右，解决其他运算的精度不足10%。

gpt-3在多语言建模任务中的表现

发布gpt-2时，在许多行业特定的语言建模任务中实现了当前的最佳性能。 现在，让我们来看看参数和价格大幅增加的gpt-3的效果。

openai在多项任务中测试了gpt-3的性能，包括语言建模、增补、问答、翻译、常识推理和superglue。 具体结果如下表所示。

所有任务中不同模型的性能和任务的sota性能，包括模型规模、培训详细信息等新闻。

gpt-3技术分析

最近大量的研究工作表明，通过预先训练大量副本，同时对特定任务进行微调，模型的性能在多个nlp任务和基准测试中可以显着提高。

最近，openai团队训练了gpt-3 (这是具有1750亿参数的自回归语言模型，参数量是以前的非稀疏语言模型的10倍)，在few-shot环境中测试了性能。 在所有任务中，gpt-3不需要额外的坡度更新或微调，只需与模型交换副本，就可以直接应用于特定任务和较少的示例演示。

gpt-3在多个nlp数据集(包括翻译、问答和复制填充任务)上提供了出色的性能。 此外，还有很多任务需要实时推理和域适应，例如使用新单词写文章、执行3位运算等。 gpt-3生成的信息副本是假的，是真的，类判断者无法分辨。

但是，gpt-3也有缺点。 该研究小组发现gpt-3 (few-shot )的拷贝合成和在多个nlp数据集上的性能不够充分，存在结构和算法上的缺点。 另一种语言模型也有缺陷较多的“预备训练样品效率更低”的问题。 gpt-3在预备训练中读的复印件比人类读一辈子的多。 另外，还有可以说明的问题等。

事前训练的做法

openai团队采用的基本预训练方法有三种:模型、数据和训练。 gpt-3的训练过程与gpt-2类似，但模型尺寸、数据集尺寸和多样化、训练长度比较直接地扩展。 关于语境学习，GPT3也采取了与gpt-2同样的方法，但GPT3研究小组系统地探索了不同的语境学习设定。

openai团队确定了确定gpt-3的不同设置，如zero-shot、one-shot和few-shot。

精细调整( FT ) :微调是近年来最常见的方法，与在预期任务的特定数据集上更新预训练模型的权重有关。

few-shot (fs ) :该研究与gpt-2类似，在推理阶段为模型提供少量的任务演示，但不允许更新互联网权重的情况下。

one-shot (1s ) :单样本与小样本类似，但除了任务的自然语言描述以外，只允许一个任务演示。

zero-shot(0s):0阶样本与单一样本类似，除了不允许演示以外，只为模型提供描述任务的自然语言指示。

zero-shot、one-shot、few-shot的设定是以前传来的微调方法的针。

上图以英法翻译任务为例，给出了四种方法。 这项研究的重点是zero-shot、one-shot、few-shot，目的不是作为竞争产品进行比较，而是作为不同的问题进行设置。 openai团队特别强调了few-shot的结果。 这是因为其中很多与sota微调模型毫不逊色。 但是，在one-shot中，zero-shot和人类层面的应对看起来是最公平的，这也是将来事业的重要目标之一。

模型和体系结构

该研究采用与gpt-2相同的模型和体系结构，包括改进的初始设置、预归一化和恢复令牌ization。 不同之处在于，gpt-3在transformer的各层采用交替密集和局部带状稀疏的观察力模式，与sparse transformer [cgrs19]类似。

为了研究性能对模型尺寸的依赖性，该研究训练了8种不同的模型尺寸，涵盖了3个订单，从1.25亿参数到1750亿参数各种各样，具有1750亿个参数的模型是gpt-3。

根据前面的研究[kmh+20]，在有足够的训练数据的情况下，验证损失的标度比应该近似为模型尺寸的光滑幂律函数。 这项研究训练了许多不同大小的模型，研究者可以就验证损失和下游语言任务验证这个假设。

表2.1显示了八种模型的大小和体系结构。 这里，n_params表示可训练参数的总量，n_layers表示层数，d_model表示各瓶颈层中的单元数(在该研究中，前馈层总是瓶颈层大小的4倍，即d _ ff = 4d _ ) 所有模型都采用了n_ctx = 2048 tokens的上下文窗口。

表2.1 :该研究所训练8种型号的尺寸、体系结构和超参数新闻。 所有型号一共采用了3000亿token。

为了将节点间的数据传输控制在最小限度，本研究从深度和宽度两个方向进行了跨越gpu模型的分割。 然后根据gpu模型之间布局的计算效率和负载平衡，为每个模型选择正确的体系结构参数。 根据以前的研究[kmh+20]，在合理的范围内，验证损失对这些参数不特别敏感。

训练数据组

下表列出了用于gpt-3培训的数据集。

表2.2 :用于训练GPT-3的数据集。

openai :其实我们也有点玩不起。

一开始不能训练，后来finetune不行了，到了gpt-3模式的时代，我们连forward都不会了。

培训gpt-3型号要多少钱？ 我们现在还只能粗略估计。 训练bert模型租云大约要6912美元。 训练gpt-2每小时需要256美元，但openai并不清楚一共需要多少小时。

与此相对，gpt-3需要bert的1900倍以上的计算能力( flops )，因此这个数字应该是几千万美元级，研究者在论文第9页找到了bug，但是没有钱重新训练模型，所以先计算一下吧。

但是，尽管如此，它的效果还是惊人的。

gpt-3的实验结果似乎验证了richard sutton去年争论的论断，写在《苦涩的教训》的最后。 “我们从苦涩的教训出发，共同的做法非常强，随着计算能力的提高而继续扩展，检索和学习似乎就是这样的做法。 "。

有关gpt-3的越来越多的详细信息，请参见论文: arxiv/abs/2005.14165。

另外，流水线博主yannic kilcher制作了gpt-3解密视频。 emmm…光视频是一个小时。 有兴趣的网民请按如下印章。

第一届“马栏干山”杯国际音视频算法比赛正在盛行。 大会聚焦于图像和推荐、画质优化三个行业，设定视频特定点跟踪、视频推荐、画质损伤修复三个问题。 优秀的参加者不仅能获得奖金，获奖处理程序有机会适用于芒果tv的核心行业，在校学生有可能参加芒果tv的“绿色计划”发行“special offer”。

原标题: 1750亿参数，史上最大的ai模型gpt-3上线:除了复制、解答，还会数学”

阅读原文。