从大量文本中，
学习语言的联系。

2018 年，OpenAI 展示用生成式语言预训练配合任务微调的 Transformer 模型，后来通常称为 GPT-1。模型先从文本预测中学习表示，再利用少量任务相关改动适应不同语言任务。

这一工作把大规模无监督预训练与监督任务结合，在多个语言理解评测上取得进展。它不是预训练或语言模型的起点，而是 Transformer 路线上的重要实践。与同年的 BERT 相比，两者训练目标和信息使用方式不同，不能把后来的生成式产品流行写成另一条路线已经失去价值。

2018 年，Google 的 BERT 通过掩码语言建模学习双向表示，并在多项语言理解任务上取得当时领先结果。预训练模型经过较少结构调整，就能适应问答、分类和推断等任务。

BERT 在训练中隐藏部分输入，再利用左右上下文预测它们，从而学习适合语言理解的表示。它的编码器路线与自回归生成各有用途。论文报告十一项任务的结果，但这不代表对所有自然语言问题都领先，也不应把后来的搜索应用和整个平台表现混为一谈。

2019 年 2 月，OpenAI 介绍约 15 亿参数的 GPT-2，展示文本续写和部分零样本任务能力。由于担忧滥用，团队先发布较小版本，再逐步开放更大模型，引发持续讨论。

GPT-2 主要依据文本上下文预测后续内容，某些任务可以通过输入形式来引导，而不必另做任务微调。它仍会重复、偏离主题或产生错误事实。分阶段发布把模型能力、开放研究与潜在滥用放到同一议题中，但不是历史上第一次关于技术公开风险的争论。

ACM 于 2019 年 3 月 27 日宣布，将 2018 年度图灵奖授予 Bengio、Hinton 与 LeCun，表彰他们在概念与工程上的贡献，使深度神经网络成为计算的重要组成部分。

奖项年度与公布年度不同：这是 2018 年度奖项，消息在 2019 年发布，颁奖也在 2019 年进行。荣誉归纳了多年的研究贡献，并不意味着深度学习由三人独自完成。理解这一历史节点，也应看到合作者、数据集、硬件与学术共同体共同推动的方法发展。

2020 年，Kaplan 等人研究语言模型交叉熵损失与参数量、数据量和训练计算量之间的经验关系。在所测范围内，若干趋势近似幂律，为分配训练预算提供了可检验的依据。

规模法则是一组依赖模型、数据和训练设置的经验拟合，不是智能随算力必然增长的普遍定律。预测语言建模损失，也不等于预测每项下游能力、涌现时刻或安全性。后续研究可通过更广实验修正最优预算分配，因此应把它视为工程决策的工具，而非无限扩大的保证。

2020 年，GPT-3 论文研究最大 1750 亿参数的自回归语言模型。许多任务可通过提示中的说明和少量示例完成，评测时不更新权重，这使上下文学习受到广泛关注。

少样本提示把任务例子放在输入中，模型随后生成答案；这与用梯度微调参数不同。不同任务的收益差异明显，论文也报告了推理、偏差和重复等局限。规模扩大并不保证每项能力同步出现，参数量也不能单独代表质量、可靠性或实际使用成本。

2020 年，谷歌的 Vision Transformer 研究将图像划为小块，再把块表示送入 Transformer。论文发现，在足够大规模的预训练条件下，这种方法可在图像分类任务上取得有竞争力的结果。

图像块序列仍需要位置表示，模型也有自己的结构选择与训练条件。ViT 的贡献在于展示视觉识别不必完全依赖卷积主干，而不是证明视觉先验没有价值。数据规模、计算预算和评测任务会影响比较结果；卷积与注意力此后也继续被组合使用。

2020 年 CASP14 评测中，DeepMind 的 AlphaFold2 在多种蛋白质结构预测任务上取得显著进展，相关方法论文发表于 2021 年。预测结果为实验研究提供了更有力的结构参考。

这里主要是从序列及相关信息预测三维结构，不能等同于完整模拟蛋白质如何在时间中折叠，也不意味着所有蛋白质、动态状态和生物功能均已解决。模型置信度、输入条件和实验验证仍然重要。它的意义在于扩展可获取的结构信息，而非替代全部生物学实验。

2021 年初，OpenAI 介绍 CLIP 与 DALL·E：前者从图文配对中学习对应关系，后者探索按文字描述生成图像。语言开始成为连接视觉任务与用户意图的重要接口。

CLIP 通过对比学习匹配图像与文本，可借助文字描述尝试零样本分类；原始 DALL·E 则是生成图像的另一套模型。二者不是同一个系统，也没有消除分布偏差和可靠性问题。公开介绍在一月，DALL·E 与 CLIP 的预印本分别于二月和三月提交。

2021 年，PanGu-α 与 M6 论文分别探索大规模中文语言建模和中文多模态预训练。前者报告最高 2000 亿参数的模型，后者研究语言、图像与多任务训练的结合。

这些研究把训练数据、并行计算与模型扩展带入中文场景。参数规模需要区分模型版本和计算方式，不能拿后期扩展数字代表最初论文。PanGu-α 论文于四月提交，M6 论文于三月提交；此处不将 M6 简单写成通义千问的直接前身，也不把机构品牌等同于单一模型。

2021 年 6 月，GitHub 宣布 Copilot 技术预览，基于 OpenAI Codex 在编辑器内提供代码建议。语言模型从单独的演示走进开发流程，用户可以结合注释和已有代码获得补全。

预览发布不同于 2022 年的正式普遍可用阶段。代码建议能够减少部分输入工作，但是否正确、安全和符合项目需求仍需开发者判断。不同研究中的效率改善与任务、参与者和实验条件相关，不能用一个百分比概括所有开发工作，更不能把预览称作已经完成全面商业验证。

OpenAI 于 2022 年 1 月介绍 InstructGPT，三月发表方法论文。训练结合人工示范、偏好比较与强化学习，使模型在所测提示分布上更符合标注者偏好，成为对话模型发展的重要环节。

研究中，标注者更偏好约 13 亿参数 InstructGPT 的输出，而不是 1750 亿参数原始 GPT-3 的输出；这不是所有任务上的全面胜出。RLHF 改善的是特定评价下的行为，不保证事实正确、价值一致或没有有害输出。论文也不等于 ChatGPT 产品的全部技术细节。

2022 年，DeepMind 研究固定训练预算下的模型与数据配比，提出许多大型语言模型训练数据不足。700 亿参数的 Chinchilla 使用更多训练 token，在多项评测中超过更大的 Gopher。

论文以实验拟合计算最优的训练方案，强调参数增长时训练数据也应相应增加。结论依赖所研究的预算、数据和模型设置；若把部署推理成本也纳入目标，最合适的方案可能变化。因此它不是永远固定的参数与 token 比例，也不与后来的推理时计算构成简单的互相否定。

2022 年 8 月 22 日，Stable Diffusion 公开发布，让开发者能够下载模型并在兼容硬件上运行文生图。它利用潜在扩散路线，把部分生成过程放在压缩表示空间中进行。

潜在扩散研究的预印本在 2021 年底出现，论文发表于 CVPR 2022，模型公开发布则在八月。三者是不同节点。代码和权重的可获得性推动了社区工具发展，但许可证含有使用限制，不能把它称为没有任何条件的“完全开源”，也不宜假设所有消费设备都可直接运行。

2022 年 10 月 7 日，美国商务部工业与安全局公布涉及先进计算、半导体制造及特定最终用途的新管制。规则分阶段生效，改变了相关芯片和制造技术面向中国供应的条件。

这是一条历史政策节点，而非当前合规指南。规则包含技术门槛、目的地、最终用途及人员活动等不同条款，并在之后多次修订。芯片供应与技术选择受到多种因素影响，不能把后来某个模型的工程路线单独归因于这一政策，也不能说算力此前从未涉及地缘政治。

2022 年 11 月 30 日，OpenAI 以研究预览形式发布 ChatGPT，基于 GPT-3.5 系列模型提供多轮对话。用户可以追问、修改要求或反馈回答，大模型由此进入更广泛的日常体验。

发布说明介绍了人类反馈训练，也明确列出错误答案、措辞敏感性和不恰当回应等限制。ChatGPT 的影响来自模型、后训练与交互产品共同作用，不能简单归结为只有产品而没有技术。用户增长数字若来自第三方估计，应另行注明出处；这里不使用未经一手材料确认的纪录说法。