关于GTP-4，这是14个被忽略的惊人细节！（上）

文章来源: 華爾街見聞

最后两个细思恐极。

3月14日，OpenAI推发布了GPT-4。向科技界再次扔下了一枚“核弹”。根据OpenAI的演示，我们知道了GPT-4拥有着比GPT-3.5更强大的力量：总结文章、写代码、报税、写诗等等。但如果我们深入OpenAI所发布的技术报告，我们或许还能发现有关GPT-4更多的特点……

以及一些OpenAI没有点名和宣扬的，可能会令人背后一凉的细节。

1. 新Bing装载GPT-4

自然而然地，GPT-4发布之时，新Bing也已经装载了最新的版本。根据微软Bing副总裁Jordi Ribas在推特上所述，装载了GPT-4的新Bing已经将问答限制提升到了一次15个问题，一天最多提问150次。

2.文本长度扩大八倍在GPT-4上，文本长度被显著提高。

在此之前我们知道，调用GPT的API收费方式是按照“token”计费，一个token通常对应大约 4 个字符，而1个汉字大致是2~2.5个token。

在GPT-4之前，token的限制大约在4096左右，大约相当于3072个英文单词，一旦对话的长度超过这个限制，模型就会生成不连贯且无意义的内容。

然而，到了GPT-4，最大token数为32768个，大约相当于24576个单词，文本长度被扩大了八倍。

也就是说，GPT-4现在可以回答更长的文本了。

OpenAI在文档中表示，现在GPT-4限制的上下文长度限制为8192个token，允许32768个token的版本名为GPT-4-32K，目前暂时限制了访问权限。在不久的未来，这一功能可能会被开放。

3.模型参数成为秘密

我们知道，GPT-3.5模型的参数量为2000亿，GPT-3的参数量为1750亿，但这一情况在GPT-4被改变了。 OpenAI在报告中表示：考虑到竞争格局和大型模型(如GPT-4)的安全影响，本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。

这意味着OpenAI没有再披露GPT-4模型的大小、参数的数量以及使用的硬件。

OpenAI称此举是考虑到对竞争者的忧虑，这可能是在暗示其对于竞争者——谷歌Bard——所采取的策略。此外，OpenAI还提到“大型模型的安全影响”，尽管没有进一步解释，但这同样也暗指生成式人工智能所可能面对的更严肃的问题。

4.有选择地表达的“优秀”

GPT-4推出后，我们都看到了这一模型较上一代的优秀之处： GPT-4通过模拟律师考试，分数在应试者的前10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。

但这实际上是OpenAI的一个小把戏——它只展示给你GPT-4最优秀的那部分，而更多的秘密藏在报告中。下图显示的是GPT-4和GPT-3.5参加一些考试的成绩表现。可以看到，GPT-4并非在所有考试中的表现都那么优秀，GPT-3.5也并非一直都很差劲。

5.“预测”准确度提升

在ChatGPT推出以来，我们都知道这一模型在很多时候会“一本正经地胡说八道”，给出很多看似有理但实际上并不存在的论据。尤其是在预测某些事情的时候，由于模型掌握了过去的数据，这反而导致了一种名为“后见之明”的认知偏差，使得模型对于自己的预测相当自信。 OpenAI在报告中表示，随着模型规模的增加，模型的准确度本应逐渐下降，但GPT-4逆转了这一趋势，下图显示预测精确度提升到了100。

OpenAI表示，虽然GPT-4的准确度显著提高，但预测仍是一件困难的事，他们还将就这一方面继续训练模型。

6. 还有30%的人更认可GPT3.5

尽管GPT-4展现出了比GPT-3.5优秀得多的能力，但OpenAI的调查显示，有70%的人认可GPT-4输出的结果： GPT-4在遵循用户意图的能力方面比以前的模型有了大幅提高。在提交给ChatGPT和OpenAI API的5214个提示的数据集中，70.2%GPT-4生成的回答优于GPT3.5。