Hi 游客

更多精彩,请登录!

  • OpenAI魔改大模型,参数减少100倍!13亿参数InstructGPT碾压GPT-3

    2020年5月,OpenAI推出了参数量高达1750亿的语言预训练模型GPT-3。 起手就把参数量拉到了千亿级别,并且还顺便刷新了一系列基准测试和NLP任务的SOTA。相比起来,当时最大的模型只有170亿个参数。 一经推出,可谓是「震惊」世界,颇有一种让「调参侠」失业的节奏。 但红极一时的GPT-3很快就沦为了各路语言模型的baseline。不管参数多少,先拉来比一比再说。除此以外,作为「反面典型」,关于GPT-3各种伦理上的讨论也持续不断。 为此,OpenAI决定换个思路,经过近两年的研究,终于在2022年1月正式 ...阅读全文
    码农键盘
    2022-10-28
    支持
    反对
    回复
    收藏