当机器，
开始「看见」。

Le、吴恩达及谷歌同事研究大规模无监督特征学习，论文于 2011 年底提交、2012 年发表于 ICML。网络从未标注图像学习到对人脸、猫等图案有选择性的内部单元。

研究以大规模分布式计算训练网络，再检查内部特征与识别表现。某些单元对猫脸的响应，并不意味着系统产生了人类对“猫”的完整概念，也不是证明只要扩大规模就必然得到智能。这个实验的价值在于展示数据、模型与计算系统共同扩大无监督学习能力。

2012 年，Krizhevsky、Sutskever 与 Hinton 的卷积网络在 ILSVRC 图像分类中取得显著优势。其竞赛系统的 top-5 错误率为 15.3%，第二名为 26.2%，推动了深度学习在视觉中的采用。

AlexNet 结合卷积网络、GPU 训练、ReLU、数据增强和 Dropout 等方法。这里比较的是同一届比赛的 top-5 错误率，指正确标签未出现在前五个候选中的比例。论文中还包含不同数据划分和模型设置的结果，不能把这些数字混成同一实验，也不能概括成所有视觉能力。

2013 年，谷歌的 Mikolov 及同事提出高效学习词向量的方法。训练让词语在向量空间中形成可用于下游任务的表示，一些关系还能通过向量运算近似呈现，词表示因此更容易推广。

词向量不是把一个词的完整意义装入数字，而是从语料中的分布关系学习表示。相近用法可能对应相近位置，一些类比能在特定数据和评测中成立。word2vec 提升了训练效率，但词嵌入早已有研究基础；它也会继承语料中的偏差和多义词混合问题。

2013 年，DeepMind 的 DQN 研究把卷积网络与 Q-learning 结合，直接从屏幕像素学习游戏行动价值。最初论文测试七款 Atari 游戏，其中三款超过论文使用的人类专家基线。

网络根据图像估计行动的未来回报，经验回放让训练能重复使用过去的交互。2015 年 Nature 论文将评测扩展到 49 款游戏，并进一步完善训练方法。两次工作的年份、游戏数量和结果必须分别呈现；它们是多任务实验中的进展，而非通用智能已经得到证明。

2014 年，DeepMind 加入谷歌，获得更大组织的工程与计算资源支持。前沿机器学习研究与大型科技企业之间的联系由此进一步加深，但收购金额的不同报道不宜写成定论。

DeepMind 创立于 2010 年，早期集中研究以学习为核心的智能系统。加入谷歌后，它继续推进强化学习等方向。官方回顾能够支持组织变化与资源协作，无法支持原稿关于精确成交额、人数及他人创办机构动机的全部说法，因此这里删去这些未经核实的细节。

2014 年，Goodfellow 及同事提出生成对抗网络。生成器学习制造样本，判别器学习区分真实数据与生成数据，两者相互提供训练信号，为生成建模提供了一种新框架。

GAN 不需要把每个生成样本与唯一目标图像逐一对应，而是借助判别器反馈逼近数据分布。训练可能不稳定，也会出现模式崩溃等问题。它推动了图像生成研究，但生成模型早已有历史，扩散模型也有自己的理论来源，不能写成 GAN 直接发明了全部后续路线。

2014 年，两项相关研究推进神经机器翻译：Sutskever 等人研究序列到序列学习，Bahdanau、Cho 与 Bengio 则让翻译模型学习对齐输入和输出，注意力成为重要的新工具。

编码器把输入序列转为表示，解码器逐步生成输出。注意力让生成每个输出时都能有选择地利用输入位置，缓解单一固定向量的限制。两篇预印本均在 2014 年 9 月出现，Bahdanau 论文提交更早，不能写成在 Sutskever 论文之后“随即加上”的线性接力。

2015 年 11 月，谷歌开放 TensorFlow，使研究者与开发者可以使用同一框架表达计算并执行训练或推理。自动微分、设备执行和模型部署等基础能力，逐渐成为可共享的软件设施。

框架降低了实现算法和利用硬件的门槛，但复现研究仍需要数据、算力、参数和实验细节。Theano、Caffe 等工具早于 TensorFlow，PyTorch 则在 2017 年公开发布，不能写成它们都在 2015 年之后依次出现。工具链发展的意义，在于让研究结果更容易被实现和扩展。

2015 年，微软研究院的何恺明、张祥雨、任少卿与孙剑提出残差学习，研究深达 152 层的网络。其集成系统在 ILSVRC 2015 分类任务取得 3.57% 的 top-5 测试错误率。

残差块学习输入需要改变的部分，并用捷径连接保留直接的信息路径。这缓解了增加深度反而更难优化的退化问题，成为广泛采用的结构。3.57% 是特定竞赛与集成设置下的指标，不意味着一般视觉能力超过人类，更不说明所有更深网络都能轻松训练。

OpenAI 于 2015 年 12 月宣布成立，最初以非营利研究组织的形式开展人工智能研究。创始公告强调让技术进步广泛受益，并介绍团队、支持者及开放合作的方向。

组织设计、人才与计算资源同样影响技术发展。创立时的使命说明是一手材料，但不能把它写成所有未来成果必然开放的法律保证，也不应替创办者断言未经证实的个人动机。这里把叙述留在 2015 年节点，后续组织变化应由各自年代的资料支持。

2016 年 3 月，DeepMind 的 AlphaGo 在首尔以 4 比 1 战胜李世石。系统结合策略网络、价值网络与树搜索，在围棋这一复杂任务上达到顶尖职业竞技水平。

网络帮助选择值得探索的落子并评估局面，搜索则进一步考察可能的未来。训练既利用人类棋谱，也使用强化学习。2016 年初 Nature 论文主要报告此前对樊麾的比赛；李世石对局发生在三月，而对柯洁的比赛属于 2017 年，三者不能混写成同一事件。

谷歌于 2016 年 5 月公开 TPU，表示芯片已在数据中心运行一年多。第一代 TPU 专门加速神经网络推理，体现了围绕特定计算任务设计硬件的路线。

2017 年论文分析了自 2015 年部署的第一代 TPU，并在特定生产负载上与同期 CPU、GPU 比较性能及能效。结果不能脱离硬件代际、数值精度和任务条件泛化。第一代重点是推理，后来的训练能力与 TPU 代际发展属于后续节点。

2017 年 6 月，谷歌团队的 Vaswani 等八位作者提出 Transformer，用注意力机制取代机器翻译模型中的循环与卷积主干。序列位置之间可以直接建立关系，训练也更便于并行。

Transformer 把自注意力、多头机制、前馈网络、位置表示和残差连接结合起来，并在翻译任务上验证效果。“Attention Is All You Need”是论文标题，不代表模型只有注意力一种组件。后来大量语言与视觉模型借鉴它，但并非所有大模型、扩散模型或科学模型都采用同一架构。

2017 年 10 月，DeepMind 发布 AlphaGo Zero 研究，系统不使用人类棋谱训练，而从自我对弈中改善围棋策略。统一网络与搜索配合，展示了强化学习在明确规则环境中的能力。

这里的“从零”指不依赖人类对局数据，并非没有围棋规则、网络结构、搜索算法和计算资源。论文中三天训练的版本击败了战胜李世石的旧版本；更长期训练又有新的比较。该方法不能直接等同于 AlphaFold 的蛋白质结构预测路线，也不能证明所有任务都可去掉人类数据。