研究表明人脑与GPT-2在语言处理方面有相似之处

研究表明人脑与GPT-2在语言处理方面有相似之处


人工智能研究不仅是创造类人的机器智能,也是对人类思维的重新认识;我们今天要介绍的一项新研究便是对人类认知的实验。该研究表明,人脑与OpenAI的语言AI模型GPT-2在语言处理方面有一些相似之处。

 

GPT-2和它的升级版GPT-3可以自动生成可信的文本,而无需了解人类语言学家数十年来发展起来的仍不完善的规则。语言AI通过捕获单词的上下文来尽可能准确地预测段落中的下一个单词,这是通过大量文本的训练来实现的。

 

基于上下文的语言AI超越了以前的手工编程语言系统和基于向量的系统,这些语言系统没有上下文评估。

 

在这项新的研究中,神经科学家发现人脑也可以连续进行单词预测。基于这一发现,研究人员推测人类以与机器类似的方式学习语言。

 

GPT-2收听播客

 

在一项实验中,50名测试对象被要求收听30分钟的播客。同时,他们要预测将近5,000个单词中的每一个。结果参与者的准确性平均接近28%——考虑到无数种可能性,这是一个很好的结果。如果预测的单词限定在600个内,命中率甚至超过70%。根据研究人员的说法,这是首次在这样的实验中测量人类的预测能力。

 

与OpenAI GPT-2进行的比较测试表明,神经网络的预测能力处于人类参与者的水平。GPT-2可以同时处理的上下文越多,则预测越好。

 

脑部测量证明人类具有预测性

 

研究人员的另一项实验表明,人类参与者的良好预测性能并非巧合。

 

在这项实验中,研究人员向癫痫患者播放了相同的播客。参与者只要听播客,无需预测下一个单词。在听的同时,研究人员从1000多个电极收集了皮质神经图(EKoG)数据,并使用各种算法(包括基于GPT-2的变体)对神经活动进行了建模。

 

利用这些数据,研究人员能够证明大脑可以在感知之前就预测单词而无需明确的任务。预测信号出现在1000毫秒之前。

 

测量结果还表明,使用GPT-2这样的模型可以比不基于上下文的方式学习的旧模型更好地预测单词的神经反应。

 

这是终身学习的标志吗?

 

研究人员写道,这些自发的预测信号的存在可能表明预测下一个单词支持终身学习。

 

发展心理学研究也支持这一点,该研究表明,儿童每天要接触上下文语言中成千上万的单词,因此有大量的学习数据。

 

但是,需要更多的研究来表明新发现的预测信号在很小的时候就可用,因此实际上参与了儿童的语言习。除了预测下一个单词,其他学习目标也是可以预期的。

 

仅有语言还不够

 

两者合计,结果显示人脑和语言AI(例如GPT-2)共享某些数据处理原理,例如基于上下文的单词预测。

 

但是,根据研究人员的说法,这些原理是在根本不同的神经体系结构中实现的。GPT-2与人脑之间的相似性也不能证明GPT-2可以思考。

 

研究人员写道:“尽管语言可能在我们的认知中起着重要的组织作用,但语言能力不足以捕捉思维。”

 

像GPT-2这样的语音AI不能通过整合以前的知识来思考、理解或产生新的有意义的想法——它们只会重述其输入的统计信息。

 

因此,这是认知神经科学和AI研究的核心问题,即,大脑如何将通过预测练习学到的语境化语言表示形式用作“产生和表达新思想的基质”?【数字叙事 原文:Maximilian Schreiner;编译:Lighting】

原文始发于微信公众号(数字叙事):研究表明人脑与GPT-2在语言处理方面有相似之处

About the Author: DH