2020年5月，OpenAI推出了参数量高达1750亿的语言预训练模型GPT-3。


起手就把参数量拉到了千亿级别，并且还顺便刷新了一系列基准测试和NLP任务的SOTA。相比起来，当时最大的模型只有170亿个参数。
一经推出，可谓是「震惊」世界，颇有一种让「调参侠」失业的节奏。





但红极一时的GPT-3很快就沦为了各路语言模型的baseline。不管参数多少，先拉来比一比再说。除此以外，作为「反面典型」，关于GPT-3各种伦理上的讨论也持续不断。


为此，OpenAI决定换个思路，经过近两年的研究，终于在2022年1月正式公开了改良版的InstructGPT。
出乎意料的是，这个模型竟然比GPT-3小了100多倍，仅有13亿个参数。虽说最近有不少研究在探讨小模型的性能，但把参数量降到比GPT-2还少的确实不多见。

不过OpenAI表示，InstructGPT生成的结果比GPT-3要好得多。
不信？ 上几个例子看看！




用几句话向一个 6 岁的孩子解释什么是登月。
GPT-3：
向 6 岁的孩子解释万有引力理论。
用几句话向一个 6 岁的孩子解释相对论。
向 6 岁的孩子解释宇宙大爆炸理论。
向 6 岁的孩子解释什么是进化。
instructGPT：
人们登上月球，然后拍下了他们在月球上看到的东西，之后把照片传回地球，这样我们就都可以看到这些照片了。






写一首关于一只聪明的青蛙的短诗。
GPT-3：
写一个短篇故事，故事中的一个角色有两个不同的名字。
写一个短篇故事，故事中你试着去找到一些你丢掉的东西。
写一个短篇故事，故事中的一个角色做了一个噩梦。
InstructGPT：
这只青蛙象征智慧
他知晓这世间所有奥秘
他是善于伪装的大师
也是一位深谙生活的老师
他象征一切的形变
同时又带来无穷变化
他见过世间万物
他洞悉万物之理