2020年5月，OpenAI推出了参数量高达1750亿的语言预训练模型GPT-3。 起手就把参数量拉到了千亿级别，并且还顺便刷新了一系列基准测试和NLP任务的SOTA。相比起来，当时最大的模型只有170亿个参数。 一经推出，可谓是「震惊」世界，颇有一种让「调参侠」失业的节奏。 但红极一时的GPT-3很快就沦为了各路语言模型的baseline。不管参数多少，先拉来比一比再说。除此以外，作为「反面典型」，关于GPT-3各种伦理上的讨论也持续不断。 为此，OpenAI决定换个思路，经过近两年的研究，终于在2022年1月正式 ...阅读全文