【纵横网】大型语言模型的崛起,让一个引人入胜的问题浮现出来:超级智能的人工智能是否会突然降临,还是其出现过程能够被科学家预见,甚至向世界发出预警?这个问题在科技界引发了广泛的讨论和关注。
聊天生成预训练转换器(ChatGPT)等大型语言模型,在规模不断扩大的同时,获得了令人瞩目的新能力。它们不仅能够进行翻译、解决数学问题,还能写诗或编写计算机代码,而这一切都是在没有接受显性训练的情况下完成的。模型越大,表现往往越好,这不禁让人猜测,这些工具最终是否会实现通用人工智能(AGI),超越人类的智能水平。
然而,关于AI是否存在“涌现”现象,即AI模型以突然且不可预测的方式获得智能,科学界存在不同的看法。最近的一项研究将这种现象称为“幻景”,暗示创新能力是逐步形成的,而非一蹴而就。
美国莫齐拉基金会的计算机科学家德博拉·拉吉表示:“他们说‘没发生什么奇迹’,我认为说得好。这是一种非常好、扎实、基于实测的评价。”在新奥尔良举行的神经系统处理信息机器学习大会上,研究人员介绍了这项新研究。
为了测试“涌现”的说法,研究人员进行了多项实验。其中一项实验对比了不同规模的GPT-3模型在4位数加法上的能力。结果显示,从绝对准确率的角度看,模型之间的差异非常显著,但如果考虑答案中正确预测的数字数量,这种趋势就不那么极端了。
此外,研究人员还研究了谷歌LaMDA语言模型在完成任务方面的表现。尽管模型在某些任务上突然表现出智能明显提高,但当检测模型答对每个答案的概率时,“涌现”的迹象就消失了。
在计算机视觉领域,研究人员也进行了类似的实验。他们训练模型压缩然后重构图像,并设置了严格的正确性门槛。结果显示,在这个领域,“涌现”现象相对较少。
虽然这项研究不能完全排除大型语言模型出现“涌现”现象的可能性,但它表明,大多数方面其实是可预测的。斯坦福大学计算机科学家桑米·科耶乔表示:“迄今的科学研究有力地表明,语言模型的大多数方面其实是可预测的。”
尽管如此,科学家们仍然对“涌现”现象保持警惕。他们将继续深入研究AI的发展过程,以确保我们能够及时发出预警,并充分利用这一革命性技术的潜力。