LLM核心论文23篇——简介

论文列表来自: https://zhuanlan.zhihu.com/p/667966449

LLM核心论文23篇——简介

LLM技术发展核心论文

Sentiment Neuron

Learning to Generate Reviews and Discovering Sentiment

我们探索了字节级循环语言模型的属性。当给予足够的容量、训练数据和计算时间时，这些模型学习的表示包括对应于高级概念的解耦特征。具体来说，我们找到了一个执行情感分析的单元。这些表示以无监督的方式学习，达到了斯坦福情感树库二元子集的最新水平。它们也非常有效率。当只使用少数标记的例子时，我们的方法达到了在完整数据集上训练的强基线的性能。我们还展示了情感单元对模型的生成过程有直接影响。简单地将其值固定为正或负，就可以生成具有相应正面或负面情感的样本。

GPT-1

Improving Language Understanding by Generative Pre-Training

自然语言理解包括一系列多样的任务，如文本蕴含、问题回答、语义相似性评估和文档分类。虽然大量的未标记文本语料库是丰富的，但用于学习这些特定任务的标记数据却很少，这使得以判别方式训练的模型难以表现得足够好。我们证明，通过在多样的未标记文本语料库上对语言模型进行生成预训练，然后对每个特定任务进行判别性微调，可以在这些任务上实现大幅度的提升。与以前的方法不同，我们在微调过程中使用任务感知的输入转换，以实现有效的转移，同时只需要对模型架构进行最小的改变。我们在一系列自然语言理解的基准测试上证明了我们方法的有效性。我们的通用任务无关模型超越了使用专为每个任务定制的架构的判别性训练模型，显著改善了我们在12个研究任务中的9个任务的最新水平。例如，我们在常识推理（Stories Cloze Test）上实现了8.9%的绝对提升，在问题回答（RACE）上实现了5.7%的提升，在文本蕴含（MultiNLI）上实现了1.5%的提升。

Scaling Law

Scaling Laws for Neural Language Models

我们研究了语言模型在交叉熵损失上的性能的经验性规模定律。损失与模型大小、数据集大小和用于训练的计算量呈幂律关系，其中一些趋势跨越了七个数量级以上。其他架构细节，如网络宽度或深度，在广泛范围内的影响最小。简单的方程规定了模型/数据集大小对过拟合的依赖性，以及模型大小对训练速度的依赖性。这些关系使我们能够确定固定计算预算的最优分配。较大的模型显著地更有效率，因此最优的计算效率训练涉及在相对适度的数据量上训练非常大的模型，并在达到收敛之前显著地停止。

GPT-3

Language Models are Few-Shot Learners

近期的研究通过在大型文本语料库上进行预训练，然后在特定任务上进行微调，已在许多NLP任务和基准测试中取得了显著的提升。虽然这种方法在架构上通常是任务无关的，但仍需要数千或数万个示例的任务特定微调数据集。相比之下，人类通常只需要几个示例或简单的指示就能完成新的语言任务，而当前的NLP系统在这方面仍然存在很大的困难。在这里，我们展示了扩大语言模型可以大大提高任务无关的少样本性能，有时甚至可以达到与之前最先进的微调方法相竞争的水平。具体来说，我们训练了GPT-3，一个具有1750亿参数的自回归语言模型，比任何以前的非稀疏语言模型多10倍，并在少样本设置中测试其性能。对于所有任务，GPT-3都是在没有任何梯度更新或微调的情况下应用的，任务和少样本演示完全通过与模型的文本交互来指定。GPT-3在许多NLP数据集上表现强劲，包括翻译、问题回答和填空任务，以及一些需要即时推理或领域适应的任务，如解词、在句子中使用新词或进行三位数的算术运算。同时，我们也发现了一些GPT-3的少样本学习仍然存在困难的数据集，以及一些GPT-3在大型网络语料库上训练时面临的方法论问题的数据集。最后，我们发现GPT-3可以生成新闻文章的样本，人类评估者很难区分这些文章是由人类写的还是由GPT-3生成的。我们讨论了这一发现以及GPT-3总体上对社会的更广泛影响。

价值对齐

InstructGPT

Training language models to follow instructions with human feedback

让语言模型变得更大并不一定会使它们更好地遵循用户的意图。例如，大型语言模型可能会生成不真实、有毒或对用户毫无帮助的输出。换句话说，这些模型并未与其用户保持一致。在这篇论文中，我们展示了通过使用人类反馈进行微调，使语言模型在广泛任务上与用户意图保持一致的途径。我们从一组由标签者编写的提示和通过OpenAI API提交的提示开始，收集了一组标签者演示期望模型行为的数据集，我们使用这个数据集通过监督学习对GPT-3进行微调。然后，我们收集了一组模型输出的排名数据集，我们使用这个数据集通过人类反馈的强化学习进一步微调这个监督模型。我们将结果模型称为InstructGPT。在我们的提示分布的人类评估中，尽管参数数量少了100倍，但人们更喜欢13亿参数的InstructGPT模型的输出，而不是1750亿的GPT-3的输出。此外，InstructGPT模型在真实性上有所提高，在生成有毒输出方面有所减少，同时在公共NLP数据集上的性能回归最小。尽管InstructGPT仍然会犯一些简单的错误，但我们的结果显示，使用人类反馈进行微调是使语言模型与人类意图保持一致的有前景的方向。

Constitutional AI

Harmlessness from AI Feedback

随着AI系统变得越来越强大，我们希望借助它们的帮助来监督其他AI。我们尝试了一种通过自我改进来训练无害AI助手的方法，而无需任何人类标签来识别有害的输出。唯一的人类监督是通过一系列规则或原则提供的，因此我们将这种方法称为“宪法式AI”。这个过程包括了一个监督学习阶段和一个强化学习阶段。在监督阶段，我们从初始模型中抽样，然后生成自我批评和修订，然后在修订的响应上微调原始模型。在RL阶段，我们从微调模型中抽样，使用模型评估哪个样本更好，然后从这个AI偏好的数据集中训练一个偏好模型。然后我们使用偏好模型作为奖励信号进行RL训练，即我们使用“来自AI反馈的RL”（RLAIF）。结果，我们能够训练出一个无害但不逃避的AI助手，它通过解释对有害查询的反对意见来处理这些查询。SL和RL方法都可以利用链式思考风格的推理来提高AI决策制定的人类评判性能和透明度。这些方法使得更精确地控制AI行为并且需要更少的人类标签成为可能。

架构

Transformer

Attention is All You Need

主导的序列转换模型基于复杂的循环或卷积神经网络，配置为编码器-解码器模式。表现最好的模型还通过注意力机制将编码器和解码器连接起来。我们提出了一种新的简单网络架构，即Transformer，它完全基于注意力机制，完全不需要递归和卷积。在两个机器翻译任务的实验中，这些模型在质量上表现优越，同时更易于并行化，并且训练时间大大减少。我们的模型在WMT 2014英语到德语的翻译任务上达到了28.4的BLEU分数，比现有的最好结果（包括集成模型）提高了超过2个BLEU。在WMT 2014英语到法语的翻译任务上，我们的模型在八个GPU上训练3.5天后，建立了新的单模型最高BLEU分数41.8，这只是文献中最好模型的训练成本的一小部分。我们通过成功地将其应用于英语成分解析（无论是大量还是有限的训练数据），证明了Transformer对其他任务的良好泛化能力。

T5

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

迁移学习，即模型首先在数据丰富的任务上进行预训练，然后在下游任务上进行微调，已经成为自然语言处理（NLP）中的一种强大技术。迁移学习的有效性已经催生了多种方法、方法论和实践。在这篇论文中，我们通过引入一个统一的框架，将所有基于文本的语言问题转换为文本到文本的格式，探索了NLP迁移学习技术的景观。我们的系统研究比较了预训练目标、架构、未标记数据集、迁移方法和其他因素在数十个语言理解任务上的影响。通过结合我们的探索洞察和规模，以及我们新的“巨大清洁爬取语料库”，我们在许多涵盖摘要、问题回答、文本分类等的基准测试上实现了最新的结果。为了促进未来的NLP迁移学习工作，我们发布了我们的数据集、预训练模型和代码。

BERT

Pre-training of Deep Bidirectional Transformers for Language Understanding

我们引入了一种新的语言表示模型，称为BERT，即双向编码器表示来自Transformer。与最近的语言表示模型不同，BERT旨在通过在所有层中共同调节左右上下文，从未标记的文本中预训练深度双向表示。因此，预训练的BERT模型可以通过仅添加一个额外的输出层进行微调，从而为一系列任务（如问题回答和语言推理）创建最先进的模型，无需大量的任务特定架构修改。 BERT在概念上简单，而在实证上强大。它在十一个自然语言处理任务上获得了新的最先进的结果，包括将GLUE得分提高到80.5%（绝对提高7.7个百分点），将MultiNLI准确率提高到86.7%（绝对提高4.6个百分点），将SQuAD v1.1问题回答测试F1提高到93.2（绝对提高1.5个百分点）和SQuAD v2.0测试F1提高到83.1（绝对提高5.1个百分点）。

轻量微调

Rethinking Efficient Tuning Methods from a Unified Perspective

基于大规模预训练基础模型的参数高效迁移学习（PETL）在各种下游应用中取得了巨大成功。现有的调整方法，如提示、前缀和适配器，对原始架构的不同部分进行任务特定的轻量级调整。然而，它们只对预训练模型的某些部分起作用，即只有前馈层或自注意力层，这使得剩余的冻结结构无法适应下游任务的数据分布。此外，现有的结构与Transformer强烈耦合，阻碍了参数高效部署以及新方法的设计灵活性。在本文中，我们重新审视PETL的设计范式，并推导出一个统一的框架U-Tuning，用于参数高效的迁移学习，该框架由一个具有冻结参数的操作和一个统一的调谐器组成，该调谐器适应下游应用的操作。U-Tuning框架可以同时包含现有的方法，并推导出新的参数高效迁移学习方法，这些方法在与现有PETL方法相比时，已经证明在CIFAR-100和FGVC数据集上取得了相当或更好的性能。

推理时算法

Chain-of-Thought

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

我们探索了生成思维链——一系列中间推理步骤——如何显著提高大型语言模型进行复杂推理的能力。特别是，我们展示了这种推理能力如何通过一种简单的方法——思维链提示——自然地出现在足够大的语言模型中，其中几个思维链演示被作为提示中的示例提供。在三个大型语言模型上的实验显示，思维链提示提高了在一系列算术、常识和符号推理任务上的性能。实证收益可以是显著的。例如，只用八个思维链示例提示一个540B参数的语言模型，就可以在GSM8K数学词问题基准测试上达到最新的准确率，甚至超过了带有验证器的微调过的GPT-3。

榜单

MMLU

Measuring Massive Multitask Language Understanding

我们提出了一种新的测试方法，用于衡量文本模型的多任务准确性。该测试涵盖了57个任务，包括基础数学、美国历史、计算机科学、法律等等。要在这个测试中获得高准确性，模型必须具有广泛的世界知识和问题解决能力。我们发现，虽然最近的大多数模型在这个测试中的准确性接近随机概率，但最大的GPT-3模型在平均水平上比随机概率提高了近20个百分点。然而，在这57个任务中的每一个任务上，最好的模型在达到专家级准确性之前仍需要大幅度的改进。模型的表现也有很大的不均衡性，而且经常不知道自己错在哪里。更糟糕的是，他们在一些社会重要的主题上，如道德和法律，准确性仍然接近随机。通过全面评估模型的学术和专业理解的广度和深度，我们的测试可以用来分析模型在许多任务上的表现，并识别重要的不足之处。

MATH

Measuring Mathematical Problem Solving With the MATH Dataset

许多智力追求需要数学问题解决能力，但这种技能仍然超出了计算机的能力范围。为了衡量机器学习模型的这种能力，我们引入了MATH，这是一个包含12,500个具有挑战性的竞赛数学问题的新数据集。MATH中的每个问题都有一个完整的逐步解决方案，可以用来教模型生成答案推导和解释。为了促进未来的研究并提高在MATH上的准确性，我们还贡献了一个大型的辅助预训练数据集，这有助于教模型掌握数学的基础知识。尽管我们能够提高在MATH上的准确性，但我们的结果显示，即使是使用巨大的Transformer模型，准确性仍然相对较低。此外，我们发现，如果扩展趋势继续，仅仅增加预算和模型参数数量对于实现强大的数学推理将是不切实际的。虽然扩展Transformers正在自动解决大多数其他基于文本的任务，但目前还无法解决MATH。为了在数学问题解决上有更多的抓手，我们可能需要来自更广泛研究社区的新的算法进步。

多模态

Multimodal Few-Shot Learning with Frozen Language Models

在足够的规模下训练时，自回归语言模型表现出了一种显著的能力，即在给出几个示例后就能学习新的语言任务。在这里，我们提出了一种简单而有效的方法，将这种少量示例学习能力转移到多模态环境（视觉和语言）。使用对齐的图像和标题数据，我们训练一个视觉编码器，将每个图像表示为一系列连续的嵌入，这样一个预训练的、冻结的语言模型在给出这个前缀后就能生成适当的标题。结果产生的系统是一个多模态的少量示例学习者，它有着令人惊讶的能力，当在示例上进行条件化时，可以学习各种新任务，这些示例被表示为多个交错的图像和文本嵌入的序列。我们证明它可以快速学习新对象和新视觉类别的词汇，只需要少量的例子就可以进行视觉问题回答，并利用外部知识，通过在各种已建立和新的基准上测量单一模型。

CLIP

Learning Transferable Visual Models From Natural Language Supervision

最先进的计算机视觉系统被训练来预测一组预定的对象类别。这种受限的监督形式限制了它们的通用性和可用性，因为需要额外的标注数据来指定任何其他视觉概念。直接从关于图像的原始文本中学习是一种有前景的替代方案，它利用了更广泛的监督来源。我们证明，预测哪个标题与哪个图像相配的简单预训练任务是一种有效且可扩展的方式，可以从头开始在从互联网上收集的400万对（图像，文本）对的数据集上学习最先进的图像表示。预训练后，自然语言被用来引用学习到的视觉概念（或描述新的概念），使模型能够零次转移到下游任务。我们通过在超过30个不同的现有计算机视觉数据集上进行基准测试，研究了这种方法的性能，这些任务包括OCR，视频中的动作识别，地理定位，以及许多类型的细粒度对象分类。该模型对大多数任务有非平凡的转移，并且通常可以与完全监督的基线竞争，而无需进行任何特定于数据集的训练。例如，我们在ImageNet上零次转移匹配了原始ResNet-50的准确性，而无需使用它所训练的128万个训练样本。我们在此https URL上发布我们的代码和预训练模型权重。

Flamingo

a Visual Language Model for Few-Shot Learning

构建可以使用少量注释示例快速适应新任务的模型是多模态机器学习研究的一个开放挑战。我们引入了Flamingo，一种具有这种能力的视觉语言模型（VLM）家族。我们提出了关键的架构创新，以：（i）连接强大的预训练的仅视觉和仅语言模型，（ii）处理任意交错的视觉和文本数据序列，以及（iii）无缝地接收图像或视频作为输入。由于它们的灵活性，Flamingo模型可以在包含任意交错的文本和图像的大规模多模态网络语料库上进行训练，这是赋予它们在上下文中进行少量示例学习能力的关键。我们对我们的模型进行了彻底的评估，探索并测量了它们快速适应各种图像和视频任务的能力。这些包括开放式任务，如视觉问题回答，其中模型被提出一个问题，它必须回答；字幕任务，评估描述场景或事件的能力；以及封闭式任务，如多选视觉问题回答。对于位于这个范围内的任何任务，单个Flamingo模型都可以通过用任务特定示例提示模型，实现新的最佳状态的少量示例学习。在众多基准测试中，Flamingo在数千倍更多的任务特定数据上进行微调的模型表现更好。

高观点

Pretrained Transformers as Universal Computation Engines

我们研究了一个在自然语言上预训练的Transformer在最小微调的情况下，特别是在残差块的自注意力和前馈层没有微调的情况下，泛化到其他模态的能力。我们考虑了这样一个模型，我们称之为冻结预训练的Transformer（FPT），并研究了在一系列序列分类任务上对其进行微调，这些任务涵盖了数值计算、视觉和蛋白质折叠预测。与之前研究在与预训练数据集相同的模态上进行微调的工作不同，我们显示在自然语言上的预训练可以提高非语言下游任务的性能和计算效率。此外，我们对架构进行了分析，比较了随机初始化的Transformer和随机LSTM的性能。结合这两个见解，我们发现语言预训练的Transformer可以在各种非语言任务上获得强大的性能。

Large Language Models as General Pattern Machines

我们观察到，预训练的大型语言模型（LLMs）能够自回归地完成复杂的令牌序列——从由概率上下文无关语法（PCFG）程序生成的任意序列，到在抽象和推理语料库（ARC）中发现的更丰富的空间模式，这是一个通用的AI基准，以ASCII艺术的风格提示。令人惊讶的是，即使序列使用从词汇表中随机抽样的令牌表示，也可以部分保留模式完成的熟练程度。这些结果表明，没有任何额外的训练，LLMs可以作为通用的序列建模器，由上下文学习驱动。在这项工作中，我们研究了这些零次转移能力如何应用于机器人技术问题——从推断代表随时间变化的状态的数字序列以完成简单的运动，到最少到最多的提示奖励条件轨迹，这可以发现和表示闭环策略（例如，CartPole的稳定控制器）。虽然由于延迟、上下文大小限制和计算成本，今天很难将其部署到实际系统中，但使用LLMs驱动低级控制的方法可能会提供一个令人兴奋的窥视，即如何将单词之间的模式转移到行动中。

An Observation on Generalization

讲座

Ilya’s talk at GTC2023

Alec Radford on LM (Youtube)

过去与未来

Learning Meaning in Natural Language Processing — The Semantics Mega-Thread

这篇文章主要讨论了在Twitter上引发了大量讨论的一个话题：模型是否能够仅通过原始文本学习到语义。这个讨论被称为“语义大讨论”。

首先，作者解释了在自然语言处理（NLP）中“语义”的含义，强调了语义是一个多面向的概念，包括语义、语用、认知和社会方面。然后，作者解释了为什么我们需要区分原始文本和语义，因为NLP/NLU的目标是构建能理解你说的话、根据你的话触发动作并返回有意义信息的系统。

文章中提出了一个关键问题：只通过原始文本训练的模型能否学习到语义？这个问题从两个方面进行了探讨：模型能学习到语义的哪些方面？模型如何学习？

文章中还提出了一些实验，例如泰国房间实验和Java代码实验，这些实验试图探索我们是否能仅通过原始文本学习语义。

此外，文章还讨论了语言模型、文本蕴含等概念，并提出了一种具有强归纳偏见的语言模型。

总的来说，这篇文章探讨了一个开放性的问题：模型是否能够仅通过原始文本学习到词汇语义的某些方面？尽管讨论了很多观点和实验，但这个问题仍然没有明确的答案。

What will GPT-2030 look like

What will GPT-2030 look like?