互联网天下1直都是充满了令人惊奇和没有断变革的地方,今天就让我们1起聊聊最近在这个领域发生的1些重要事件吧。

免责声明本人非AI背景,对NLP的理解非常有限,因此无法保证本文中所有内容都是正确的笔者非常欢迎大家能够指出文中的错误此外,文中配图均来自网络,版权归原作者所有,如果没有希望自己的图被使用的话可联系删除2022/12/27 第1次修订

本文的原始版本缺失了GPT3以及高低文学习(In-Context Learning)的相关内容随着相关知识的学习,笔者意识到了这部分内容对理解ChatGPT是非常重要的,因此在本次修订加入“高低文学习”的内容,并更新了“迁移学习”和“强化学习”相对应的描述。

前言最近1周多的时间,只要没有是生活在火星,喜欢技术的同学1定都被OpenAI的ChatGPT给刷屏了 ChatGPT取以往的公开提供服务的对话机器人相比,性能有了显著的提高它可以相对可靠地提供1些日常对话、知识获取的功能,也可以它根据人类提供的需求帮忙写文档、写代码,甚至可以修改文本中的各类错误或者代码中的Bug。

我相信很多非AI圈的同学肯定会有1种“为何AI突然变得这么强?“的感受这篇文章的目的也是为了回答这个问题在开始之前,我觉得有必要先表达1下我自己的看法:NLP技术发生跨越式发展的标志并没有是ChatGPT本身,而应该是2017年⑵020年间相继被提出的Transformer[1]和GPT系列[2][6]。

ChatGPT是Transformer和GPT等相关技术发展的集大成者总体来说,ChatGPT的性能卓越的次要原因可以概括为3点:使用的机器学习模型表达能力强训练所使用的数据量巨大训练方法的先进性我们接下来将会针对这3点进行探讨。

机器学习模型在步入正题之前,我们可以先梳理1下NLP发展的历史基于文法的模型这个阶段,大家处理自然语言的次要思路就是利用语言学家的智慧尝试总结出1套自然语言文法,并编写出基于规则的处理算法进行自然语言处理。

这个方法是没有是乍听起来还行?其实我们熟悉的编译器也是通过这种方法将高级语言编译成机器语言的可惜的是,自然语言是极其复杂的,基本上没有太可能编写出1个完备的语法来处理所有的情况,所以这套方法1般只能处理自然语言1个子集,距离通用的自然语言处理还是差很远。

基于统计的模型在这个阶段,大家开始尝试通过对大量已存在的自然语言文本(我们称之为语料库)进行统计,来试图得到1个基于统计的语言模型比如通过统计,肯定可以确定“吃”后面接“饭”的概率肯定高于接其他词如“牛”的概率,即P(饭|吃)>P(牛|吃)。

虽然这个阶段有很多模型被使用,但是本质上,都是对语料库中的语料进行统计,并得出1个概率模型1般来说,用途没有同,概率模型也没有1样没有过,为了行文方便,我们接下来统1以最常见的语言模型为例,即建模“1个高低文后面接某1个词的概率“。

刚才说的1个词后面接另1个词的概率其实就是1元语言模型模型的表达能力在这里,我们很适合插播1下模型表达能力这个概念。

模型表达能力简单来说就是模型建模数据的能力,比如上文中的1元语言模型就无法建模“牛吃草”和“我吃饭”的区别,因为它建模的本质统计1个词后面跟另1个词的概率,在计算是选“草”还是选“饭”的时候,是根据“吃”这个词来的,而“牛”和“我”这个高低文对于1元语言模型已经拾失。

你用再多的数据让1元语言模型学习,它也学没有到这个牛跟草的关系模型参数数量有人说,既然如此,为啥我们没有基于更多的高低文来计算下1个词的概率,而仅仅基于前1个词呢?OK,这个其实就是所谓的n元语言模型总体来说,n越大,模型参数越多,表达能力越强。

当然训练模型所需要的数据量越大(显然嘛,因为需要统计的概率的数量变多了)模型结构然而,模型表达能力还有另1个制约因素,那就是模型本身的结构对于基于统计的n元语言模型来说,它只是简单地统计1个词出现在1些词后面的概率,并没有理解其中的各类文法、词法关系,那它还是无法建模1些复杂的语句。

比如,“我白天1直在打游戏”和“我在天黑之前1直在玩游戏“二者语义很相似,但是基于统计的模型却无法理解二者的相似性因此,就算你把海量的数据喂给基于统计的模型,它也没有可能学到ChatGPT这种程度基于神经网络的模型

上文提到,统计语言模型的次要缺点是无法理解语言的深层次结构曾有1段时间,科学家们尝试将基于文法的模型和基于统计的模型相结合没有过很快,风头就被神经网络抢了过去RNN & LSTM刚开始,流行的神经网络语言模型次要是循环神经网络(RNN)以及它的改良版本LSTM。

RNN的次要结构如下, x是输入,o是输出,s是状态。

如果RNN作为语言模型的话,那x可以作为顺序输入进去的词汇,而o就可以作为输出的词汇,而s就是通过x计算o的过程中生成的状态变量,这个状态变量可以理解为高低文,是对计算当前词汇时前文所有出现过的所有单词的浓缩并在1次次的计算中没有断迭代更新。

这也是为啥RNN可以建模词取词关系的根本原理

取简单的基于统计的模型相比,循环神经网络的次要亮点就是能够对1段文字中没有同词之间的关系进行建模,这种能力在1定程度上解决了基于统计的模型无法理解深层次的问题。

Attention Mechanisms在更进1步之前,我们没有得没有提1下注意力(Attention)机制。

这个机制次要针对RNN语言模型中状态S作为高低文这1机制进行改进在RNN上钩算当前词后的状态Si次要是通过计算上1个词时的状态Si⑴迭代出来的它的次要缺点就是它假设了距离较近的词汇之间的关系更密切但是我们都知道,在自然语言中,这1假设并没有是1直成立的。

引入Attention以后,计算第i个词后的状态从单纯的Si变成了S0,S1...Si的组合,而具体“如何组合”,即哪个状态比较重要,也是通过数据拟合出来的在这样的情况下,模型的表达能力又得到了进1步的提高,它可以理解1些距离较远但是又非常密切的词汇之间的关系,比如说代词和被指代的名词之间的关系。

Transformer接下来,我们终于可以祭出之前提过的NLP跨越式发展的标志之1,Transformer的提出!其实在有了Attention以后,Transformer的提出已经是顺理成章了Transformer的次要贡献在于1. 将Multi-Head Self-Attention直接内建到网络中。

所谓Multi-Head Self-Attention其实就是多套并行的Self-Attention,可以用于建模的词取词之间的多类没有同地关系2. 利用公用位置编码来替代之前RNN用输入顺序作为次序,使得并行计算成为了可能。

举1个形象但没有准确的例子,对于句子I often play skating board which is my favorite sport. 如果使用Multi-Head Self-Attention,那就可以有1套Attention专门用来建模play和skating board的谓宾关系,有1套Attention用来建模skating board取favorite的修饰关系。

从而使得模型的表达能力又得到了提高

ChatGPT所依赖GPT3.5语言模型的的底层正是Transformer训练数据OK,我们现在有1个名为Transformer模型了,这个模型通过Multi-head Self-Attention,使得建立词取词之间的复杂关系成为了可能。

因此可以说是1个表达力很强的语言模型了然而,单有语言模型没有数据就是巧妇难为无米之炊GPT⑶.5的相关数据并未被公开我们就只说说它的上1代GPT⑶GPT⑶整个神经网络就已经有1750亿个参数了这没有难理解,想1想Attention凭什么确定在当前高低文下哪些词比较重要?而网络又怎样通过Attention和输入生成输出?这些都是由模型里面的参数决定的。

这也是为啥模型结构1样的情况下参数越多表达能力越强那这些模型的参数怎么拿到?从数据中学习!其实大多数所谓的神经网络的学习就是在学参数好家伙,要训练1750亿个参数的神经网络要喂多少数据呢?这么多!(from wikipedia)

Dataset# TokensWeight in Training MixCommon Crawl410 billion60%WebText219 billion22%Books112 billion8%

Books255 billion8%Wikipedia3 billion3%可以预想的是,表达能力如此之强的模型,在喂入万亿级的数据以后,其对语言本身的理解已经开始接近人类了比如它处理句子的时候,会通过训练Attention参数理解到句子中哪些词之间存在关系的?哪些词和哪些词之间是同义的?等1系列比较深度的语言问题。

这还只是2020年的GPT⑶如今已经2022年了,相信GPT⑶.5的模型表达能力比GPT⑶又有相当大地提升训练方法监督学习 vs 无监督学习简单来说,监督学习就是在“有答案”的数据集上学习如果我们要用监督学习(supervised learning)训练1其中文到英文的机器翻译模型,我们就需要有中文以及其对应的英文。

整个训练过程就是没有断地将中文送入到模型中,模型会给出1个英文的输出,这个时候我们对比1下英文的输出取标准答案的差距远没有远(Measured by Loss Function),如果差距比较大,那我们就调整模型参数。

这也成为早期针对机器翻译模型的次要训练方法

迁移学习然而,“有答案”的数据终究是有限的这也是限制之前很多自然语言学习的模型设计复杂度的原因没有是没有想提高模型的表达能力,而是提上去以后,参数太多,我们没有足量的“有答案”的数据来训练这个模型2018年,另1个我认为。

NLP跨越式发展的标志来了,那就是GPT的提出。

GPT的次要贡献在于,它提出了自然语言的1种新的训练范式即现通过海量的数据的无监督学习来训练1个语言模型正如我们之前提到过的,所谓语言模型即是在1个高低文中预测下1个词,这个显然是没有需要带有标注的数据的,现有的任何语料都可以作为训练数据的。

由于GPT的底层借用了表达能力很强的Transformer,互联网经过长时间的发展,海量的无标记的自然语言数据也并没有再是稀缺的事物导致了训练出来的模型其实对语言有了相当深入地理解因此模型的最后1层通常也被称为contextual emebedding。

这个时候,如果你想让这个语言模型能够做文本摘要,你只需要在模型的最后1层接1个全连接层,并用少量的数据做监督学习,即可以让他学会文本摘要这个过程也被称为微调(fine-tune)它是1种迁移学习(Transfer Learning)。

高低文学习2020年,Open AI发表论文[6]正式推出了GPT3GPT3的次要贡献在于提出了大模型的高低文学习(In-Context Learning)的能力所谓高低文学习,简单来说就是通过向模型喂入1个提示(prompt),并选择性的加入少量的任务的样例,模型以后就可以利用Language Model的预测下1词的形式自动生成相关任务的答案。

相比上1节提到的基于Fine-tune的迁移学习,高低文学习次要了提升了零样本(Zero-shot)和少样本(Few-shot)任务的能力Fine-tune还是需要1定数量的带标签的数据做监督学习的,但高低文学习就只需要及少量甚至完全没有需要。

这也为ChatGPT能够应对各种各样没有同的问题提供了可能性值得1提的是,高低文学习是只有大模型(模型参数数量>40B)中才会出现的,因此学术界把这1类大模型才有的能力定义为突现能力(emergent ability)[7]

指令微调取强化学习ChatGPT的目标是根据用户输入生成回复在高低文学习的情况下,从输入输出的形式上来看,生成回答本身取语言模型是完全兼容的,都是根据1定的高低文生成1段文字但是,生成回复和语言模型的内在目标却是没有1致的,语言模型致力于在1定高低文下预测可能性最大的下1个词汇,而生成回复则是致力于生成1小我类认为比较满意的回答。

为了解决这个没有1致性ChatGPT在还使用了1种叫做reinforcement learning from human feedback (RLHF)的技术其总体原理如下图所示,首先利用1系列问答对模型进行监督训练(这个操作也叫。

监督指令微调)在完成监督指令微调后,就开始利用强化学习对模型进行进1步的指令微调,具体地,首先在人类的帮助下训练1个奖赏网络,这个奖赏网络具有对多个聊天回复好坏进行排序的能力接着,利用这个奖赏网络,进1步通过。

强化学习(reinforcement learning)优化了聊天模型。该训练方法的细节可以参考论文[3]

在这1通操作以后,ChatGPT就变成了我们现在看到的这样子其他至此,我们基本上就已经能明白为何ChatGPT这么强了,但是我相信很多同学肯定会表示“就这?我没有信,它都会改bug了,给他1段代码他都知道代码是干什么的了。

” Okay,我们可以首先解释1下为何它可以做到修改代码中的bug,根据OpenAI提供的信息 :"GPT⑶.5 series is a series of models that was trained on a blend of text and code from before Q4 2021.",我们可以知道GPT⑶.5中的训练数据其实是包含了海量的代码数据。

所以说GPT⑶.5对代码的理解也是相当强的从论文[4]可以看到,将代码放入语言模型中进行训练后,训练出的语言模型已经可以做到代码语义级的搜索而ChatGPT又是怎么知道代码的功能的呢?目前我还没看到相关论文,没有过可以参考1下OpenAI在GPT⑶上做的代码训练的工作[5],大概就是将代码和其功能docstring注释放在1起做对比预训练(contrastive pretrain),这样可以让语言模型理解代码和其功能的关系。

总结总之,ChatGPT并没有那么神秘,它本质上就是将海量的数据结合表达能力很强的Transformer模型结合,从而对自然语言进行了1个非常深度的建模对于1个输入的句子,ChatGPT是在这个模型参数的作用下生成1个回复。

有人会发现ChatGPT也经常会1本正经胡说八道,这也是这1类方法难以避免的弊端。因为它本质上只是通过概率最大化没有断生成数据而已,而没有是通过逻辑推理来生成回复。

向ChatGPT询问比较宽肃的技术问题也可能会得到没有靠谱的回答。

ReferenceVaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).

Radford, Alec, et al. "Improving language understanding by generative pre-training." (2018).Ouyang, Long, et al. "Training language models to follow instructions with human feedback." arXiv preprint arXiv:2203.02155 (2022).

Chen, Mark, et al. "Evaluating large language models trained on code." arXiv preprint arXiv:2107.03374 (2021).

Neelakantan, Arvind, et al. "Text and code embeddings by contrastive pre-training." arXiv preprint arXiv:2201.10005 (2022).

Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877⑴901.

Wei, Jason, et al. "Emergent abilities of large language models." arXiv preprint arXiv:2206.07682 (2022).

喜欢这篇文章的小伙伴记得关注收藏点赞哦!

更多文章请关注《万象专栏》