毫无疑问,ChatGPT的横空出世是2022年人工智能领域最大的事件,没有之一。通用对话机器人第一次走出科研圈之外,接受社会面的广泛检验,获得意想不到的好评和成功。它的出现,第一次让人们感受到:原来人工智能真的有一点智能!
笔者自第一版GPT3就已是OpenAI的粉丝,现在更只能用“狂热”来形容自己对ChatGPT的感觉。只是每当笔者意识到自己的“狂热”时,笔者总会强迫自己站在相反的立场冷静一下,于是本文中笔者假设自己是不看好,甚至反对ChatGPT的人来探讨:如果ChatGPT这类大模型不是未来,那可能是什么?
1、“投人所好”:ChatGPT成功在于“投人所好”。RLHF、Instruct等技术都是为了让机器输出更符合人类喜好,依赖人类的打分评价,这可能决定了它无法超出平均人类水平。这恐怕也是ChatGPT在通用问答表现良好,但在专业领域很容易露馅的原因。因为我们不太可能汇集各个领域的顶尖专家去专门给它提问打标签,更不可能找一堆牛顿、爱因斯坦那样的超人类去教他,这种技术路径的上限可能不是未来。
2、数据枯竭:GPT3的训练已经用了人类绝大部分书籍、论文、严肃报道、专业问答等高质量语言数据,人类每年新产生的高质量数据和几千年积攒的数据相比极少。即使不考虑版权,全世界通力合作,高质量数据集的规模也不会有太大扩充了,GPT3的相关论文表明增大模型规模必须同步增加训练数据。未来的GPT4还能增加一些,但GPT5哪里还有增量数据?这意味着研究人员只能寄希望于训练机制、损失函数、网络结构等其他方面的突破了,然而这些大的突破可遇不可求。
3、算力增长减缓:GPT3比GPT2多100倍参数,训练一次成本估计为1200万美元,直接把所有大中小企业踢出玩家队伍,全球也就少数几个巨头有财力和人力继续研究,然而时隔两年,算力代表Nvidia刚发布的40系列显卡算力只提升80%左右,按照这个速度提升100倍算力需要16年,这还没有考虑卡体积、功耗问题。未来的GPT系列很难在规模上有快速突破了。更重要的是,如上所说,假如科研人员找到新的训练方法,比如RLHF这条路继续强化学习的方法有可能对算力有千倍万倍的需求。
4、可靠性仍不足:ChatGPT写一首诗、一段小说、甚至一份演讲稿都可能获得惊艳的结果,但这些任务的特点是可以反复重试,你会自动忽略那些糟糕的结果,工业界系统使用ChatGPT时可能要增加人类审核员,过滤掉糟糕的输出,无法发挥自动化的高效率优势。笔者根据自己的体验认为,ChatGPT有10%~20%的概率会胡言乱语或者一本正经地胡说八道,和图像一样,ChatGPT暂时只能给一些容错率高,可解释性要求低的领域带来大幅提升。
5、智能仍不足:虽然ChatGPT看起来远比之前的系统智能,但距离真正的通用智能还很远很远。涉及到计算推理的问题表现就很糟糕,如鸡兔同笼问题看似回答很好,但只要将题目中改为不常见的数量,或者换成3条腿的青蛙,2个头的蛇就能让它混乱。你也基本不能教会ChatGPT应用新的复杂规则,如杂体诗、棋牌游戏。我们可以从这些它不擅长的事情上看出,ChatGPT的输出仍然更偏向于统计学规律,而不是真正的智能。
当然,上面说的都只是可能,也许RLHF类方法没有上限,也许在现有数据下,我们把模型再增大100倍持续训练还会出现能力质变,也许芯片算力还会爆发,让我们很快可以用强化学习训练高级推理任务,也许10~20年后,我们就能看到超过人类的智能体出现,我很希望上面“可能”不会发生,而“也许”都会实现,OpenAI可以的!
(李闯系中国金融认证中心(CFCA)技术专家、中国电子银行网专栏专家。)
文章为个人投稿,不代表所在公司的观点和立场。
责任编辑:王超
免责声明:
中国电子银行网发布的专栏、投稿以及征文相关文章,其文字、图片、视频均来源于作者投稿或转载自相关作品方;如涉及未经许可使用作品的问题,请您优先联系我们(联系邮箱:cebnet@cfca.com.cn,电话:400-880-9888),我们会第一时间核实,谢谢配合。