THE REFERENCE ROOM

每个名字,
都有来时的路。

113 条事件 · 41 位关联人物 · 27 家关联机构

沿着问题,寻找一条记录。

展开事件,阅读说明与原始出处。
人物和机构标签连接到全书关系索引。

113 条记录

图灵机:把计算写成规则理论与思想

1936 年,图灵用纸带、读写头和有限状态描述计算过程,并讨论通用机器与不可判定问题。这不是一台实际建造的电脑,而是一种研究计算能力及其边界的数学模型。

图灵把一步步按规则进行的运算抽象为可分析的对象:机器读取符号、改变状态,再移动纸带。通用机器能够模拟其他这类机器,但并非每个数学问题都能由算法解决。论文为计算理论奠定基础;它没有证明任何物理过程或人类思维都可被数字计算完整模拟。

神经活动的逻辑模型理论与思想

麦卡洛克与皮茨在 1943 年把神经元简化为全或无的活动单元,用逻辑表达式研究网络的行为。这种抽象把神经活动与形式计算联系起来,成为人工神经网络的重要思想来源。

论文研究的不是完整生物神经元,而是在一组明确假设下运作的数学单元。若输入满足条件,单元便激活;多个单元可组成执行逻辑运算的网络。这样的模型说明了网络结构与计算之间的联系,但尚未给出今天依靠数据训练权重的通用学习算法。

《控制论》:反馈成为共同语言理论与思想

维纳于 1948 年出版《控制论》,以控制、通信和反馈研究动物与机器的行为。恒温器、伺服机构与神经系统被放进同一套问题框架,智能研究由此得到重要的跨学科语言。

反馈系统会把输出或环境变化重新作为输入,用来修正后续行动。维纳借此讨论稳定、通信和有目的行为,将工程、数学与生命研究联结起来。控制论对早期机器智能研究影响深远,但它与后来以符号推理为主的 AI 既有交集,也有不同的研究传统。

赫布:连接如何随经验变化理论与思想

赫布在 1949 年《行为的组织》中提出,若一个细胞反复参与激活另一细胞,两者的连接效能可能增强。这一神经可塑性假说,为通过改变连接来解释学习提供了重要思路。

后来常见的“一起放电,连在一起”是对赫布思想的概括,并非书中的逐字原句。赫布提出的是关于细胞活动与连接变化的假说,而不是现成的软件训练算法。后来的赫布式学习规则把这一思想数学化,但不能把所有网络权重更新都归为同一个机制。

图灵测试:从定义转向对话理论与思想

1950 年,图灵在《计算机器与智能》中提出模仿游戏,尝试把“机器能思考吗”转化为可讨论的行为问题。文字对话成为观察机器表现的一种方式,却不是智能的唯一判据。

论文既讨论对机器智能的反对意见,也设想学习机器与类似教育的训练过程。模仿游戏强调观察到的对话表现,不能直接回答机器是否具有意识、理解或全部人类能力。它长期影响公众与研究者的讨论,但没有统一整个 AI 学科的目标或评测标准。

SNARC:用机器模拟学习算力与硬件

1951 年,明斯基参与建造神经网络模拟器 SNARC,探索简单网络如何在反馈中改变行为。这类早期硬件实验,让学习不再只是纸面上的假说,也成为可观察的机器过程。

SNARC 属于早期神经网络模拟装置,研究重点是通过反馈形成行为,而非执行今天的大规模神经网络训练。它展示了一条不同于符号推理的研究路线:先构造彼此连接的简单部件,再观察整体行为如何变化。此处不沿用缺少可靠档案支撑的元件数量和“通用首台”排行。

逻辑理论家:搜索一条证明算法与模型

纽厄尔、西蒙与肖在 1955—1956 年发展逻辑理论家,用符号表示与启发式搜索寻找逻辑定理的证明。1955 年末已有手工模拟,能够运行的程序则出现在 1956 年。

逻辑理论家的关键不只是计算速度,而是用启发式规则缩小搜索空间,优先尝试更有希望的证明路径。它是早期符号 AI 的代表。原稿将构思、手工模拟、程序运行和后续证明成绩压在同一月份;这里按发展过程呈现,避免把 1955 年当作所有成果的完成日期。

达特茅斯:一个研究领域的命名产业与组织

1956 年夏,达特茅斯研讨会聚集了研究机器智能的学者。“人工智能”这一名称已经出现在麦卡锡等人于 1955 年 8 月写成的提案中,会议后来成为该领域的重要历史标志。

提案把语言、抽象、问题求解与自我改进列为研究方向,并计划开展两个月的合作。实际参加者到达时间与停留长度各不相同,研究兴趣也并未完全统一。它的重要性在于为一组相关问题建立共同名称与研究网络,而不是一次会议就完成了统一理论或固定学科边界。

感知机:从样本调整判断算法与模型

罗森布拉特在 1957 年报告及 1958 年论文中发展感知机,用可调整的权重完成分类。机器从示例中改变决策边界,为神经网络学习提供了早期、可操作的模型。

感知机把输入加权求和,再依据阈值给出分类;训练中的错误用来调整权重。其能力受模型结构和数据条件约束,单层线性分类器无法表示异或等线性不可分关系。它是学习机器的重要先驱,但并非历史上第一个能够学习的程序或装置。

GPS:把目标拆成子目标算法与模型

纽厄尔、西蒙与肖发展通用问题求解器 GPS,尝试把解题策略与具体领域的知识分开。系统通过比较当前状态和目标,选择可缩小差距的操作,并继续处理新的子目标。

这种手段—目的分析把人类解题过程转化为搜索程序,让同一框架能够处理不同的形式化任务。不过,“通用”仍以人工给定的状态、操作和目标表示为前提。问题规模扩大后,搜索空间与知识表示仍是困难;它并未提供解决现实中一切问题的方法。

LISP:让程序处理符号算法与模型

麦卡锡在 1958 年开始设计 LISP,随后用论文阐述递归函数与符号表达式。列表和递归让程序能够便利地处理公式、规则和程序本身,适合早期 AI 的符号操作。

LISP 的表达式既可作为数据存储,也可由程序解释执行。这种统一使搜索、推理和语言处理系统较容易构造,也影响了后来的编程语言。1958 年是设计起点,经典论文发表于 1960 年;垃圾回收等实现技术也有各自的发展过程,不应全部压缩为一次发明。

塞缪尔:跳棋程序从经验改进理论与思想

1959 年,IBM 的塞缪尔发表跳棋机器学习研究,讨论程序如何利用已有对局和自我对弈改进表现。论文标题中的“机器学习”,成为这一研究方向早期的重要命名。

程序并非没有人为设计:棋盘表示、合法走法、搜索与评估机制仍由研究者构建。学习的作用是在这一框架内改善判断,而非由空白机器自行发现所有规则。这个案例说明,经验可以参与程序的改进;它也提醒我们区分学习机制与完成任务所需的其他工程。

ARPA 与 Project MAC产业与组织

1963 年,MIT 在 ARPA 支持下启动 Project MAC,研究分时计算及机器辅助认知等方向。人工智能小组处于这一更广泛的计算研究环境中,公共资助扩大了探索的空间。

Project MAC 并不等同于 1963 年新建的独立 AI 实验室;MIT 的 AI 研究已有基础,后来的组织也经历分合。稳定的计算资源和研究资助为长期实验提供条件,但不能据此断言所有资金都没有考核,或整个美国 AI 研究由单一机构控制。

DENDRAL:知识进入程序应用与产品

1960 年代中期,斯坦福的 DENDRAL 团队把化学知识与搜索结合,利用质谱等证据约束候选分子结构。它代表了一种务实转向:解决具体问题,往往需要具体领域的知识。

DENDRAL 的发展依靠计算机科学家与化学家的合作,包括费根鲍姆、莱德伯格、布坎南等人。程序并不是凭一般推理能力自动发现化学,而是把专业约束纳入候选生成与检验。其经验推动了知识工程:如何获取、表示和运用领域知识,成为系统设计的核心问题。

Shakey:连接感知、规划与行动应用与产品

1966—1972 年,斯坦福研究院开发 Shakey 移动机器人,尝试把视觉、环境表示、任务规划与运动连接起来。它在简化环境中执行任务,使 AI 从屏幕走向物理空间。

Shakey 使用摄像机等传感器观察周围,借助计算机建立环境表示,再规划并执行移动等动作。研究催生了重要的规划与搜索方法。它的运行速度和环境适应性都有限,因此这里强调系统集成与研究贡献,不把它描写成已经能自由理解口语并在现实世界通用行动的机器人。

ELIZA:像对话,也有限度应用与产品

魏岑鲍姆于 1966 年发表 ELIZA 论文,展示通过关键词与变换规则生成对话的程序。DOCTOR 脚本借鉴非指导式心理治疗的问答形式,令简单规则也能产生连贯的交流印象。

系统识别输入中的词语或结构,再按脚本重新组织回应。它并没有因此获得临床判断或对用户经历的理解。ELIZA 的历史意义既在自然语言接口,也在人与系统的关系:流畅的回应可能让使用者高估程序能力,观察对话效果需要同时了解背后的机制。

《感知机》:研究表达能力的边界理论与思想

明斯基与帕珀特于 1969 年出版《感知机》,系统分析一类感知机模型的能力与局限。它让关于网络能做什么的讨论更加具体,但并未证明所有神经网络都不可行。

单层线性分类器无法表示异或,是理解模型表达能力的常见例子;书中的分析也涉及更广的计算几何问题。网络结构、训练算法与资源限制是不同层面的困难。后来研究环境的变化不能只归因于一本书,也不宜把其后数十年的连接主义工作概括为完全中断。

莱特希尔报告:承诺接受审视产业与组织

1973 年出版的莱特希尔报告对英国 AI 研究提出批评,特别关注组合爆炸和从小型演示到现实问题的落差。围绕报告的公开争论,成为早期 AI 研究与资助政策的一次转折。

研究者对报告的分类方式与结论提出反驳,争论涉及哪些问题值得研究、应如何判断进展。它与当时的资助调整一起,构成后来“AI 寒冬”叙事的重要材料。各国、各实验室的经历并不相同,不能据此写成全球研究同时停摆十年或大多数实验室关闭。

MYCIN:规则也要说明理由应用与产品

1970 年代,斯坦福的 MYCIN 研究用规则处理感染诊断与抗菌药物选择,肖特利夫于 1976 年出版相关专著。系统不只给建议,也能解释所用规则,成为专家系统的经典案例。

MYCIN 把领域规则、推理过程及不确定性处理结合起来,探索计算机如何辅助专业判断。它属于研究系统,并未作为常规临床工具部署。其经验提出的问题至今仍有意义:知识如何维护,建议怎样解释,评估结果与实际使用之间还需要跨越哪些环节。

XCON:把配置知识写成规则应用与产品

1980 年的 R1 论文介绍了为 DEC 计算机系统配置部件的专家系统,后来它以 XCON 广为人知。系统把配置约束与工程经验写成规则,展示了知识工程在企业流程中的价值。

配置订单并非只选择单个零件,还要检查连接、电源和空间等相互约束。R1 把这类知识用于逐步补全配置。这个案例说明,在边界明确、规则可获取的任务中,专家系统能够产生实用价值;其表现不能直接推广为所有专业工作的自动化。

日本第五代计算机计划产业与组织

日本通产省于 1982 年启动第五代计算机计划,重点探索知识处理、逻辑编程与并行推理。此前 1981 年的讨论与会议是筹备阶段,不能与正式项目启动混为一谈。

项目希望把面向知识和推理的计算作为新一代系统方向,并围绕专用架构和软件展开长期研发。其主要计划于 1992 年结束,留下研究系统与技术经验,也暴露了特定路线同市场发展的距离。评价这段历史应分别看科研成果、产业采用和原始目标。

霍普菲尔德网络:记忆作为稳定状态算法与模型

1982 年,霍普菲尔德用物理系统的集体行为研究神经网络记忆。网络中的单元相互连接,经过状态更新可趋向稳定模式,为内容寻址记忆提供了有影响力的模型。

在相应对称连接和更新条件下,能量函数可描述网络演化,局部稳定状态对应存储模式。从残缺或受扰动输入恢复模式,是这一模型的重要直观例子。不过,稳定不意味着总能得到正确记忆;容量限制和伪稳定状态同样是理解模型的组成部分。

反向传播:从误差计算调整方向算法与模型

1986 年,鲁梅尔哈特、辛顿与威廉姆斯发表研究,展示如何通过反向传播训练多层网络学习内部表示。误差的梯度可以逐层计算,使隐藏层的权重也能系统地调整。

反向传播是计算梯度的方法,通常与梯度下降等优化规则配合使用。它并不是 1986 年突然出现的无前史发明;这篇论文的重要性在于展示多层表示学习并推动广泛使用。更深的网络仍需面对优化、数据和计算资源问题,算法普及并未一次解决所有困难。

通用近似:表达能力与训练分开理论与思想

1989 年,Cybenko 等人的研究说明,在一定激活函数和定义域条件下,具有单个隐藏层的网络能任意精度逼近连续函数。这回答了表达能力问题,却没有保证容易找到相应参数。

这里的“任意”需要连同条件一起理解:通常涉及紧集上的连续函数,以及足够多的隐藏单元。定理不意味着固定大小的网络能解决所有任务,也不承诺训练效率、所需样本或泛化表现。它帮助研究者把“能否表示”与“能否学到”明确区分开来。

卷积网络识别手写邮编算法与模型

1989 年,杨立昆及同事展示用反向传播训练具有局部连接和共享权重的网络,识别手写邮编数字。把图像结构的知识纳入网络设计,降低了参数需求并改善识别表现。

局部连接让单元集中处理图像中的小区域,共享权重使同一种特征可在不同位置被检测。它们与训练方法共同构成早期卷积网络的重要实践。这里区分 1989 年邮编识别论文与 1998 年 LeNet-5 文档识别论文,不把后来的结构和商业部署全部归入同一年。

Q-learning:从奖励估计行动价值算法与模型

沃特金斯在 1989 年博士研究中提出 Q-learning,通过与环境交互学习行动价值,无需事先给定环境转移模型。1992 年与 Dayan 合作的论文进一步给出收敛条件与证明。

学习者估计在某个状态采取某个行动能获得的长期回报,并依据新经验更新估计。所谓无模型,不是没有任务规则、状态设计或探索策略。经典收敛结论依赖有限状态行动、充分探索和合适学习率等条件,不能直接套用于任意深度网络。

TD-Gammon:自我对弈积累经验应用与产品

1992 年前后,IBM 的 Tesauro 发展 TD-Gammon,把神经网络与时序差分学习用于西洋双陆棋。通过大量自我对弈,系统改进局面评估,展示了强化学习处理复杂游戏的潜力。

自我对弈减少了对专家棋谱的依赖,但系统仍使用游戏规则、状态表示与研究者设计的训练过程,不是从没有知识的空白状态开始。不同版本的实力和所用特征有所变化。因此这里不把后期世界级表现、所有版本和“发现最优策略”合并为 1992 年的一次成果。

支持向量机:在边界处学习算法与模型

Cortes 与 Vapnik 于 1995 年发表支持向量网络研究,将最大间隔分类与非线性映射结合。SVM 为分类任务提供了有理论基础的工具,在许多机器学习应用中得到采用。

模型寻找能分开类别的决策边界,并关注边界附近的样本。软间隔允许一定错误,核方法则让分类器在隐式特征空间中处理非线性关系。它与神经网络各有适用条件;机器学习的发展并不是某一种方法全面统治后被另一种彻底取代。

深蓝:赢下标准赛制六番棋应用与产品

1997 年 5 月,IBM 深蓝以 3.5 比 2.5 战胜卡斯帕罗夫,成为在标准比赛时间控制下赢得对现任国际象棋世界冠军整场对抗赛的计算机系统。

深蓝结合专用计算、搜索、局面评估和大量棋类知识。它曾在 1996 年赢下一局,但输了那场对抗赛,因此单局胜利与整场胜利应分开。1997 年的结果是特定竞技任务上的里程碑,不能据此推导通用智能,也不宜与后来的 AlphaZero 做未经统一评测的直接比较。

LSTM:让记忆跨越更长序列算法与模型

1997 年,Hochreiter 与 Schmidhuber 提出 LSTM,用专门的记忆单元与门控机制缓解循环网络学习长距离依赖的困难。它为序列建模提供了一条重要路线。

普通循环网络在长序列训练中可能难以保留有效梯度。LSTM 设计受控的信息通道,使记忆能够被写入与读取。后来广泛使用的遗忘门属于后续发展,不能全部归入最初论文。LSTM 在语音和语言等任务中得到采用,但并不保证记住任意长度的信息。

MNIST:共享一把评测尺数据与评测

MNIST 收集并标准化手写数字图像,常用划分含六万张训练图像和一万张测试图像。1998 年的文档识别论文使它成为比较分类方法的重要基准,研究结果因而更容易复现。

统一图像尺寸、训练集和测试集,为比较模型提供了共同条件。但一个数字识别数据集不能代表全部视觉能力;在同一测试集上反复改进,也需要警惕对基准的过度适应。MNIST 是公共评测文化的重要案例,而不是公共数据集与排行榜这一做法的起点。

GeForce 256:图形计算的一步算力与硬件

英伟达于 1999 年推出 GeForce 256,并用 GPU 命名其集成图形处理能力。这一产品属于图形硬件发展史;后来面向通用计算的可编程 GPU 才逐步成为神经网络训练的重要工具。

1999 年的图形芯片并不具备今天数千计算核心与成熟通用编程环境的形态。图形任务中的并行需求、后续可编程架构和软件平台,经过多年发展才与深度学习训练结合。将这些阶段分开,才能理解硬件、工具链与算法如何共同降低计算成本。

Stanley:驶完沙漠赛道应用与产品

2005 年,斯坦福团队的 Stanley 赢得 DARPA Grand Challenge,自动完成约 212 公里的沙漠路线。它把感知、学习、定位与控制结合,展示了无人车在复杂户外环境中运行的进展。

车辆使用激光、相机、定位等信息判断道路与障碍,并把学习方法纳入感知系统。比赛提供了明确、可检验的任务,也推动了多个工程环节协同。沙漠赛道的成功并不等于城市自动驾驶已经解决:交通参与者、规则和长尾情境仍会带来新的困难。

深度信念网络:逐层学习算法与模型

Hinton、Osindero 与 Teh 在 2006 年提出深度信念网络的快速学习方法,通过逐层训练构造深层表示。这推动了研究者重新关注多层网络与无监督预训练。

逐层训练先为模型建立较好的参数与表示,再结合整体调整,缓解当时训练深层网络遇到的一些困难。它是深度学习复兴的重要路径之一,但不是所有深层网络的首次可训练实现,也不是“深度学习”这个术语的发明时刻。后来监督训练与优化技术又发展出不同路线。

ImageNet:扩大视觉经验的规模数据与评测

2009 年,Deng、李飞飞及同事发表 ImageNet 论文,介绍按 WordNet 概念组织的大规模图像库。当时论文报告约 320 万张图像、5247 个类别,后续数据库规模继续增长。

ImageNet 将层级语义组织、人工标注与大规模图像收集结合,为视觉研究提供更丰富的数据。2010 年起的 ILSVRC 使用特定任务与子集进行评测,不能与整个数据库混为一谈。后来常说的约 1400 万张图像,是增长后的规模,不宜回填到 2009 年论文。

Watson:把问题变成候选答案应用与产品

2011 年 2 月播出的《危险边缘》对抗赛中,IBM Watson 战胜 Ken Jennings 与 Brad Rutter。系统结合语言分析、信息检索、证据打分与决策,展示了复杂问答任务的工程进展。

Watson 面对的线索包含双关、暗示和不同知识领域,系统需要生成多个候选答案并估计置信度,还要决定何时抢答和下注。比赛成绩证明了这一特定系统的能力;它并不自动证明医疗或其他高风险任务同样可用,那些应用需要单独设计与验证。

Siri:语音助手进入手机应用与产品

苹果于 2011 年 10 月发布 iPhone 4S,将 Siri 集成进手机,用户可以用语音提出问题或发起提醒、通信等操作。这让对话式界面成为消费设备中更显眼的一部分。

Siri 把语音识别、请求解析与应用服务连接起来,能力取决于系统支持的任务及其背后服务。它不是可以自由完成所有请求的通用智能。这个节点的重要性在产品接口:用户不再总要逐层点击菜单,而可以尝试直接说出目标,再由系统完成有限范围内的操作。

从无标签图像中学习特征算力与硬件

Le、吴恩达及谷歌同事研究大规模无监督特征学习,论文于 2011 年底提交、2012 年发表于 ICML。网络从未标注图像学习到对人脸、猫等图案有选择性的内部单元。

研究以大规模分布式计算训练网络,再检查内部特征与识别表现。某些单元对猫脸的响应,并不意味着系统产生了人类对“猫”的完整概念,也不是证明只要扩大规模就必然得到智能。这个实验的价值在于展示数据、模型与计算系统共同扩大无监督学习能力。

AlexNet:视觉识别的转折算法与模型

2012 年,Krizhevsky、Sutskever 与 Hinton 的卷积网络在 ILSVRC 图像分类中取得显著优势。其竞赛系统的 top-5 错误率为 15.3%,第二名为 26.2%,推动了深度学习在视觉中的采用。

AlexNet 结合卷积网络、GPU 训练、ReLU、数据增强和 Dropout 等方法。这里比较的是同一届比赛的 top-5 错误率,指正确标签未出现在前五个候选中的比例。论文中还包含不同数据划分和模型设置的结果,不能把这些数字混成同一实验,也不能概括成所有视觉能力。

word2vec:词语的位置与关系算法与模型

2013 年,谷歌的 Mikolov 及同事提出高效学习词向量的方法。训练让词语在向量空间中形成可用于下游任务的表示,一些关系还能通过向量运算近似呈现,词表示因此更容易推广。

词向量不是把一个词的完整意义装入数字,而是从语料中的分布关系学习表示。相近用法可能对应相近位置,一些类比能在特定数据和评测中成立。word2vec 提升了训练效率,但词嵌入早已有研究基础;它也会继承语料中的偏差和多义词混合问题。

DQN:从像素学习行动应用与产品

2013 年,DeepMind 的 DQN 研究把卷积网络与 Q-learning 结合,直接从屏幕像素学习游戏行动价值。最初论文测试七款 Atari 游戏,其中三款超过论文使用的人类专家基线。

网络根据图像估计行动的未来回报,经验回放让训练能重复使用过去的交互。2015 年 Nature 论文将评测扩展到 49 款游戏,并进一步完善训练方法。两次工作的年份、游戏数量和结果必须分别呈现;它们是多任务实验中的进展,而非通用智能已经得到证明。

DeepMind 加入谷歌产业与组织

2014 年,DeepMind 加入谷歌,获得更大组织的工程与计算资源支持。前沿机器学习研究与大型科技企业之间的联系由此进一步加深,但收购金额的不同报道不宜写成定论。

DeepMind 创立于 2010 年,早期集中研究以学习为核心的智能系统。加入谷歌后,它继续推进强化学习等方向。官方回顾能够支持组织变化与资源协作,无法支持原稿关于精确成交额、人数及他人创办机构动机的全部说法,因此这里删去这些未经核实的细节。

GAN:让生成与辨别共同学习算法与模型

2014 年,Goodfellow 及同事提出生成对抗网络。生成器学习制造样本,判别器学习区分真实数据与生成数据,两者相互提供训练信号,为生成建模提供了一种新框架。

GAN 不需要把每个生成样本与唯一目标图像逐一对应,而是借助判别器反馈逼近数据分布。训练可能不稳定,也会出现模式崩溃等问题。它推动了图像生成研究,但生成模型早已有历史,扩散模型也有自己的理论来源,不能写成 GAN 直接发明了全部后续路线。

序列到序列与学习对齐算法与模型

2014 年,两项相关研究推进神经机器翻译:Sutskever 等人研究序列到序列学习,Bahdanau、Cho 与 Bengio 则让翻译模型学习对齐输入和输出,注意力成为重要的新工具。

编码器把输入序列转为表示,解码器逐步生成输出。注意力让生成每个输出时都能有选择地利用输入位置,缓解单一固定向量的限制。两篇预印本均在 2014 年 9 月出现,Bahdanau 论文提交更早,不能写成在 Sutskever 论文之后“随即加上”的线性接力。

TensorFlow:训练工具走向开放算力与硬件

2015 年 11 月,谷歌开放 TensorFlow,使研究者与开发者可以使用同一框架表达计算并执行训练或推理。自动微分、设备执行和模型部署等基础能力,逐渐成为可共享的软件设施。

框架降低了实现算法和利用硬件的门槛,但复现研究仍需要数据、算力、参数和实验细节。Theano、Caffe 等工具早于 TensorFlow,PyTorch 则在 2017 年公开发布,不能写成它们都在 2015 年之后依次出现。工具链发展的意义,在于让研究结果更容易被实现和扩展。

ResNet:给深层网络一条捷径算法与模型

2015 年,微软研究院的何恺明、张祥雨、任少卿与孙剑提出残差学习,研究深达 152 层的网络。其集成系统在 ILSVRC 2015 分类任务取得 3.57% 的 top-5 测试错误率。

残差块学习输入需要改变的部分,并用捷径连接保留直接的信息路径。这缓解了增加深度反而更难优化的退化问题,成为广泛采用的结构。3.57% 是特定竞赛与集成设置下的指标,不意味着一般视觉能力超过人类,更不说明所有更深网络都能轻松训练。

OpenAI:新的研究组织成立产业与组织

OpenAI 于 2015 年 12 月宣布成立,最初以非营利研究组织的形式开展人工智能研究。创始公告强调让技术进步广泛受益,并介绍团队、支持者及开放合作的方向。

组织设计、人才与计算资源同样影响技术发展。创立时的使命说明是一手材料,但不能把它写成所有未来成果必然开放的法律保证,也不应替创办者断言未经证实的个人动机。这里把叙述留在 2015 年节点,后续组织变化应由各自年代的资料支持。

AlphaGo:棋盘上的突破应用与产品

2016 年 3 月,DeepMind 的 AlphaGo 在首尔以 4 比 1 战胜李世石。系统结合策略网络、价值网络与树搜索,在围棋这一复杂任务上达到顶尖职业竞技水平。

网络帮助选择值得探索的落子并评估局面,搜索则进一步考察可能的未来。训练既利用人类棋谱,也使用强化学习。2016 年初 Nature 论文主要报告此前对樊麾的比赛;李世石对局发生在三月,而对柯洁的比赛属于 2017 年,三者不能混写成同一事件。

TPU:针对推理设计芯片算力与硬件

谷歌于 2016 年 5 月公开 TPU,表示芯片已在数据中心运行一年多。第一代 TPU 专门加速神经网络推理,体现了围绕特定计算任务设计硬件的路线。

2017 年论文分析了自 2015 年部署的第一代 TPU,并在特定生产负载上与同期 CPU、GPU 比较性能及能效。结果不能脱离硬件代际、数值精度和任务条件泛化。第一代重点是推理,后来的训练能力与 TPU 代际发展属于后续节点。

Transformer:让注意力组织序列算法与模型

2017 年 6 月,谷歌团队的 Vaswani 等八位作者提出 Transformer,用注意力机制取代机器翻译模型中的循环与卷积主干。序列位置之间可以直接建立关系,训练也更便于并行。

Transformer 把自注意力、多头机制、前馈网络、位置表示和残差连接结合起来,并在翻译任务上验证效果。“Attention Is All You Need”是论文标题,不代表模型只有注意力一种组件。后来大量语言与视觉模型借鉴它,但并非所有大模型、扩散模型或科学模型都采用同一架构。

AlphaGo Zero:减少对棋谱的依赖应用与产品

2017 年 10 月,DeepMind 发布 AlphaGo Zero 研究,系统不使用人类棋谱训练,而从自我对弈中改善围棋策略。统一网络与搜索配合,展示了强化学习在明确规则环境中的能力。

这里的“从零”指不依赖人类对局数据,并非没有围棋规则、网络结构、搜索算法和计算资源。论文中三天训练的版本击败了战胜李世石的旧版本;更长期训练又有新的比较。该方法不能直接等同于 AlphaFold 的蛋白质结构预测路线,也不能证明所有任务都可去掉人类数据。

GPT:先预训练,再适应任务算法与模型

2018 年,OpenAI 展示用生成式语言预训练配合任务微调的 Transformer 模型,后来通常称为 GPT-1。模型先从文本预测中学习表示,再利用少量任务相关改动适应不同语言任务。

这一工作把大规模无监督预训练与监督任务结合,在多个语言理解评测上取得进展。它不是预训练或语言模型的起点,而是 Transformer 路线上的重要实践。与同年的 BERT 相比,两者训练目标和信息使用方式不同,不能把后来的生成式产品流行写成另一条路线已经失去价值。

BERT:利用两侧上下文算法与模型

2018 年,Google 的 BERT 通过掩码语言建模学习双向表示,并在多项语言理解任务上取得当时领先结果。预训练模型经过较少结构调整,就能适应问答、分类和推断等任务。

BERT 在训练中隐藏部分输入,再利用左右上下文预测它们,从而学习适合语言理解的表示。它的编码器路线与自回归生成各有用途。论文报告十一项任务的结果,但这不代表对所有自然语言问题都领先,也不应把后来的搜索应用和整个平台表现混为一谈。

GPT-2:能力与发布方式一同讨论算法与模型

2019 年 2 月,OpenAI 介绍约 15 亿参数的 GPT-2,展示文本续写和部分零样本任务能力。由于担忧滥用,团队先发布较小版本,再逐步开放更大模型,引发持续讨论。

GPT-2 主要依据文本上下文预测后续内容,某些任务可以通过输入形式来引导,而不必另做任务微调。它仍会重复、偏离主题或产生错误事实。分阶段发布把模型能力、开放研究与潜在滥用放到同一议题中,但不是历史上第一次关于技术公开风险的争论。

深度学习三位研究者获图灵奖产业与组织

ACM 于 2019 年 3 月 27 日宣布,将 2018 年度图灵奖授予 Bengio、Hinton 与 LeCun,表彰他们在概念与工程上的贡献,使深度神经网络成为计算的重要组成部分。

奖项年度与公布年度不同:这是 2018 年度奖项,消息在 2019 年发布,颁奖也在 2019 年进行。荣誉归纳了多年的研究贡献,并不意味着深度学习由三人独自完成。理解这一历史节点,也应看到合作者、数据集、硬件与学术共同体共同推动的方法发展。

规模法则:测量损失如何变化理论与思想

2020 年,Kaplan 等人研究语言模型交叉熵损失与参数量、数据量和训练计算量之间的经验关系。在所测范围内,若干趋势近似幂律,为分配训练预算提供了可检验的依据。

规模法则是一组依赖模型、数据和训练设置的经验拟合,不是智能随算力必然增长的普遍定律。预测语言建模损失,也不等于预测每项下游能力、涌现时刻或安全性。后续研究可通过更广实验修正最优预算分配,因此应把它视为工程决策的工具,而非无限扩大的保证。

GPT-3:在提示中给出示例算法与模型

2020 年,GPT-3 论文研究最大 1750 亿参数的自回归语言模型。许多任务可通过提示中的说明和少量示例完成,评测时不更新权重,这使上下文学习受到广泛关注。

少样本提示把任务例子放在输入中,模型随后生成答案;这与用梯度微调参数不同。不同任务的收益差异明显,论文也报告了推理、偏差和重复等局限。规模扩大并不保证每项能力同步出现,参数量也不能单独代表质量、可靠性或实际使用成本。

ViT:把图像切成序列算法与模型

2020 年,谷歌的 Vision Transformer 研究将图像划为小块,再把块表示送入 Transformer。论文发现,在足够大规模的预训练条件下,这种方法可在图像分类任务上取得有竞争力的结果。

图像块序列仍需要位置表示,模型也有自己的结构选择与训练条件。ViT 的贡献在于展示视觉识别不必完全依赖卷积主干,而不是证明视觉先验没有价值。数据规模、计算预算和评测任务会影响比较结果;卷积与注意力此后也继续被组合使用。

AlphaFold2:结构预测的重要进展应用与产品

2020 年 CASP14 评测中,DeepMind 的 AlphaFold2 在多种蛋白质结构预测任务上取得显著进展,相关方法论文发表于 2021 年。预测结果为实验研究提供了更有力的结构参考。

这里主要是从序列及相关信息预测三维结构,不能等同于完整模拟蛋白质如何在时间中折叠,也不意味着所有蛋白质、动态状态和生物功能均已解决。模型置信度、输入条件和实验验证仍然重要。它的意义在于扩展可获取的结构信息,而非替代全部生物学实验。

CLIP 与 DALL·E:连接图像和文字算法与模型

2021 年初,OpenAI 介绍 CLIP 与 DALL·E:前者从图文配对中学习对应关系,后者探索按文字描述生成图像。语言开始成为连接视觉任务与用户意图的重要接口。

CLIP 通过对比学习匹配图像与文本,可借助文字描述尝试零样本分类;原始 DALL·E 则是生成图像的另一套模型。二者不是同一个系统,也没有消除分布偏差和可靠性问题。公开介绍在一月,DALL·E 与 CLIP 的预印本分别于二月和三月提交。

盘古与 M6:中文大模型探索产业与组织

2021 年,PanGu-α 与 M6 论文分别探索大规模中文语言建模和中文多模态预训练。前者报告最高 2000 亿参数的模型,后者研究语言、图像与多任务训练的结合。

这些研究把训练数据、并行计算与模型扩展带入中文场景。参数规模需要区分模型版本和计算方式,不能拿后期扩展数字代表最初论文。PanGu-α 论文于四月提交,M6 论文于三月提交;此处不将 M6 简单写成通义千问的直接前身,也不把机构品牌等同于单一模型。

Copilot:建议出现在编辑器里应用与产品

2021 年 6 月,GitHub 宣布 Copilot 技术预览,基于 OpenAI Codex 在编辑器内提供代码建议。语言模型从单独的演示走进开发流程,用户可以结合注释和已有代码获得补全。

预览发布不同于 2022 年的正式普遍可用阶段。代码建议能够减少部分输入工作,但是否正确、安全和符合项目需求仍需开发者判断。不同研究中的效率改善与任务、参与者和实验条件相关,不能用一个百分比概括所有开发工作,更不能把预览称作已经完成全面商业验证。

InstructGPT:用反馈改善遵循指令算法与模型

OpenAI 于 2022 年 1 月介绍 InstructGPT,三月发表方法论文。训练结合人工示范、偏好比较与强化学习,使模型在所测提示分布上更符合标注者偏好,成为对话模型发展的重要环节。

研究中,标注者更偏好约 13 亿参数 InstructGPT 的输出,而不是 1750 亿参数原始 GPT-3 的输出;这不是所有任务上的全面胜出。RLHF 改善的是特定评价下的行为,不保证事实正确、价值一致或没有有害输出。论文也不等于 ChatGPT 产品的全部技术细节。

Chinchilla:参数与数据一起分配理论与思想

2022 年,DeepMind 研究固定训练预算下的模型与数据配比,提出许多大型语言模型训练数据不足。700 亿参数的 Chinchilla 使用更多训练 token,在多项评测中超过更大的 Gopher。

论文以实验拟合计算最优的训练方案,强调参数增长时训练数据也应相应增加。结论依赖所研究的预算、数据和模型设置;若把部署推理成本也纳入目标,最合适的方案可能变化。因此它不是永远固定的参数与 token 比例,也不与后来的推理时计算构成简单的互相否定。

Stable Diffusion:可下载的生成模型算法与模型

2022 年 8 月 22 日,Stable Diffusion 公开发布,让开发者能够下载模型并在兼容硬件上运行文生图。它利用潜在扩散路线,把部分生成过程放在压缩表示空间中进行。

潜在扩散研究的预印本在 2021 年底出现,论文发表于 CVPR 2022,模型公开发布则在八月。三者是不同节点。代码和权重的可获得性推动了社区工具发展,但许可证含有使用限制,不能把它称为没有任何条件的“完全开源”,也不宜假设所有消费设备都可直接运行。

先进计算芯片进入出口管制焦点治理与规则

2022 年 10 月 7 日,美国商务部工业与安全局公布涉及先进计算、半导体制造及特定最终用途的新管制。规则分阶段生效,改变了相关芯片和制造技术面向中国供应的条件。

这是一条历史政策节点,而非当前合规指南。规则包含技术门槛、目的地、最终用途及人员活动等不同条款,并在之后多次修订。芯片供应与技术选择受到多种因素影响,不能把后来某个模型的工程路线单独归因于这一政策,也不能说算力此前从未涉及地缘政治。

ChatGPT:对话成为大众入口应用与产品

2022 年 11 月 30 日,OpenAI 以研究预览形式发布 ChatGPT,基于 GPT-3.5 系列模型提供多轮对话。用户可以追问、修改要求或反馈回答,大模型由此进入更广泛的日常体验。

发布说明介绍了人类反馈训练,也明确列出错误答案、措辞敏感性和不恰当回应等限制。ChatGPT 的影响来自模型、后训练与交互产品共同作用,不能简单归结为只有产品而没有技术。用户增长数字若来自第三方估计,应另行注明出处;这里不使用未经一手材料确认的纪录说法。

辛顿离开谷歌,公开讨论 AI 风险产业与组织

杰弗里·辛顿离开谷歌后,更自由地公开谈论 AI 的风险。多伦多大学记录了他的相关发言:与技术能力的进展同时出现的,是对社会影响、控制问题和治理责任的讨论。

辛顿长期参与神经网络研究。他对风险的关注使一个问题变得突出:推动模型能力提升的研究者,也需要思考技术可能带来的社会后果。多伦多大学记录了他在公开活动中的相关讨论。技术贡献和风险警告可以同时成立,不能将其简单理解为对既有研究的否定。

微软与 OpenAI 扩大合作产业与组织

微软宣布以多年、数十亿美元投资延续与 OpenAI 的合作,Azure 算力和模型产品化被纳入同一框架。大模型研究与云服务的关系进一步加深。

官方公告将合作分为超级计算基础设施、模型驱动的产品体验和云服务三个方面,并称 Azure 在当时是 OpenAI 的独家云供应商。公告没有披露精确投资总额,因此不能仅凭它把“100 亿美元”作为确定数字,更不能据此认定具体利润分成比例。

LLaMA 向研究社区开放产业与组织

Meta 的 LLaMA 论文介绍了从 7B 到 65B 的基础语言模型,并向研究社区提供模型。较小模型的训练与适配成为重要路线,开发者开始探索更低门槛的大模型研究。

论文强调使用公开可获得的数据,并报告 LLaMA-13B 在多数所测基准上超过 GPT-3。其意义在于让研究者有机会围绕基础模型开展适配与比较。模型的许可条件、下载资格与训练材料是否完整公开,是不同维度;“开放”需要具体说明开放了什么。

搜索引入对话式 AI产业与组织

微软发布新版 Bing 与 Edge 的预览,将搜索结果、综合回答和对话界面放到一起。生成式 AI 开始进入原有搜索入口,也把答案的可信度与来源问题带给更多用户。

新版产品允许用户围绕搜索结果继续追问,并让模型协助生成内容。这里记录的是微软可核查的产品发布;一次演示错误是否造成特定市值变化,需要独立金融与事件研究证据,不能从产品公告推出。搜索与生成的结合也没有消除模型给出错误答案的可能。

Claude 发布应用与产品

Anthropic 推出 Claude 与更轻量的 Claude Instant,提供对话及 API 接口。它把帮助性、诚实性与减少有害输出作为产品目标,进入问答、写作和文本处理等应用。

公告列出的场景包括摘要、搜索、创作、问答和编程,并介绍了早期合作伙伴的使用体验。安全对齐是其研发方向,但产品目标不能等同于已经消除风险。创始人的个人动机、与前雇主的内部冲突,以及谁是“最强对手”,均不由这份发布材料证明。

GPT-4:图文输入与能力扩展算法与模型

GPT-4 技术报告展示了接受图像和文字、输出文字的多模态能力,并报告多项专业考试表现。模型能力继续提高,但考试分数并不代表已经具备完整的专业执业能力。

报告称 GPT-4 在模拟律师资格考试中约处于考生前10%,同时明确指出它在许多现实情境仍不及人类。图像输入能力的研究展示也应与实际产品开放时间区别。这个节点的意义在于能力与输入形式的扩展,不能据此断言它已经替代专业劳动。

文心一言开启邀请测试产业与组织

百度于3月16日开启文心一言邀请测试,将对话、问答和辅助创作带向用户与企业开发者。这是中国生成式 AI 产品集中发布时期的一个具体、可核查的节点。

百度官方文档将文心一言描述为知识增强的大语言模型,支持对话互动、回答问题和协助创作。邀请测试使用户得以接触产品,也为实际使用反馈提供入口。它与面向公众全面开放属于不同发布阶段,观察模型普及时需要同时考虑技术能力、产品可用性和服务范围。

公开信呼吁暂停更强模型训练治理与规则

未来生命研究所发布公开信,呼吁对强于 GPT-4 的 AI 系统训练至少暂停六个月。它把训练速度、安全评估与社会治理的关系推向公众讨论,但这是一项倡议而非监管命令。

公开信要求暂停应公开且可验证,并提议发展独立审计、安全协议和治理机构。组织方存档将发布日期列为3月22日;媒体集中报道的日期不应替代文件日期。倡议本身不能证明所有实验室执行了暂停,也不足以证明后续每项政策都由这封信直接促成。

中国发布生成式 AI 服务管理暂行办法治理与规则

国家网信办等七部门公布《生成式人工智能服务管理暂行办法》,对向中国境内公众提供的生成式 AI 服务规定相应义务。文件于8月15日施行,兼顾发展与安全。

《办法》涉及训练数据、个人信息、内容治理等要求,并对具有舆论属性或社会动员能力的服务规定安全评估与算法备案要求。未向境内公众提供服务的相关研发应用不在其适用范围内。不能把它概括为所有模型一律备案,也不能把此前发布的深度合成规定写成其后续政策。

Llama 2 开放模型权重产业与组织

Meta 发布 Llama 2,包含7B到70B的预训练及对话微调模型。模型权重的开放让开发者可以自行部署和适配;研究论文同时公开了训练、评估和安全工作的部分方法。

Llama 2-Chat 面向对话场景,论文报告了有用性与安全性评估。开放权重不等于全部训练数据与代码公开,也不等于没有许可条件。描述其商业使用时仍需阅读对应许可,而不宜将它与 Apache 2.0 模型一概视为完全相同的“开源”。

编剧合同写入 AI 保护条款治理与规则

美国编剧工会在2023年协议中确立 AI 相关条款,涉及作者身份、报酬与署名,以及使用 AI 的选择权。生成式 AI 对劳动关系的影响,开始落实到具体合同安排。

工会说明,AI 不是协议意义上的编剧,AI 生成文本不能用来降低编剧相应的报酬与权益;公司不能要求编剧使用 AI,向编剧提供 AI 材料时须披露。这些条款适用于相应协议覆盖的项目,不能扩展为对所有行业、所有创作活动的一般法律规定。

Mistral 7B:更小模型的效率路线产业与组织

Mistral AI 发布73亿参数的 Mistral 7B,并采用 Apache 2.0 许可开放。团队报告它在所列测试中具有竞争力,说明模型价值不仅取决于参数规模,也取决于训练与架构设计。

模型采用分组查询注意力和滑动窗口注意力,分别面向推理效率与较长序列处理。官方比较来自自己的评估流程,不能推断它在所有应用中都胜过更大的模型。开放模型与轻量部署的结合,为研究者和产品团队提供了新的基础组件。

OpenAI 管理层与董事会改组产业与组织

OpenAI 在11月经历管理层变动后,宣布山姆·奥特曼回任首席执行官,并组建新的初始董事会。事件让公司治理、投资关系与前沿 AI 研发之间的张力进入公众视野。

11月29日公告确认奥特曼回任,米拉·穆拉蒂恢复首席技术官职务,格雷格·布罗克曼回任总裁;新初始董事会包括布雷特·泰勒、拉里·萨默斯和亚当·德安杰洛。管理层与董事会的人选变化是可核查的事实,至于不同参与者的内部动机,公开公告并没有完整解释。

Gemini:多模态模型家族算法与模型

Google 的 Gemini 技术报告描述了图像、音频、视频与文本理解能力,并以 Ultra、Pro、Nano 三种规模面向不同用途。多模态逐渐从单项功能走向模型家族的整体设计。

报告公开了多项文本与多模态基准评估,模型家族覆盖复杂推理到端侧资源受限场景。多模态的意义不只是接受更多文件类型,还在于能否联合使用不同形式的信息。不同测试设置下的成绩不能直接概括为在所有应用中都领先,实际效果仍取决于输入和任务。

欧盟 AI 法案达成临时政治协议治理与规则

欧盟理事会与欧洲议会谈判代表就 AI 法案达成临时协议,以风险为基础设定不同义务。它是立法过程的重要节点,仍须经过正式通过、公布和分阶段适用等程序。

理事会12月9日公告介绍高风险系统、禁止性用途和通用模型等安排,并说明文本仍需机构确认及法律语言审校。临时政治协议并不等同于法律当天生效。这里记录当时的谈判结果,后续适用日期应以最终法条和其修订为准。

豆包 API 以低价进入竞争产业与组织

火山方舟推广豆包模型服务,官方开发者材料列出通用模型 pro-32k 的输入价格为每千 Token 0.0008元。调用价格降低,使更多开发者能够尝试将语言模型接入应用。

这一数字属于特定型号、特定时期的输入计费,不能代表输入输出合计或完整应用成本。开发者还需要考虑调用频率、输出长度、重试和其他服务开销。API价格下降拓宽了实验空间,而训练成本、销售策略与最终盈利能力仍是不同问题。

Sora:长视频生成的研究展示算法与模型

OpenAI 展示 Sora 视频生成研究,以扩散模型与 Transformer 处理视频的时空片段,可生成最长一分钟的视频。视觉连贯性有所提升,但报告同时承认基础物理与对象状态仍会出错。

Sora 将图像和视频压缩到潜在表示,再划分为时空片段供模型处理。研究提出将生成模型发展为世界模拟器的可能路线,这是一项研究方向,而非证明模型已经掌握物理规律。2月节点属于研究展示,应与后来的公众产品开放区分。

Claude 3:多模态与模型分层算法与模型

Anthropic 发布 Claude 3 系列,以 Opus、Sonnet 和 Haiku 区分能力、速度与成本。系列引入视觉理解,初始提供20万 Token 上下文,使模型选择进一步体现具体任务与预算的权衡。

发布时 Opus 和 Sonnet 开始提供,Haiku 随后推出。官方展示了知识、推理和视觉方面的评估,但单次基准排名不能化约为某家公司全面战胜另一家公司。长上下文也不等于所有信息都能可靠调用,实际使用仍要关注检索、遗漏和答案准确性。

GPT-4o:面向自然交互的多模态算法与模型

OpenAI 发布 GPT-4o,将文本、视觉与音频纳入统一模型设计,并逐步向用户开放相关能力。官方演示的低延迟语音交流,让交互方式成为模型进展的重要组成部分。

发布材料给出的语音响应平均延迟约320毫秒,属于报告中的模型能力,不代表每次实际使用都能达到。当天各项功能分阶段开放,不能写成免费用户立即获得全部实时语音与视觉能力。模型的多模态设计与产品的部署节奏需要分别记录。

原始出处Hello GPT-4o ↗
Claude 3.5 Sonnet 与 Artifacts算法与模型

Anthropic 发布 Claude 3.5 Sonnet,并推出 Artifacts,让生成的文档、代码和网页内容在对话旁单独显示。对话界面开始同时承担讨论、预览和修改作品的功能。

Artifacts 将产出从聊天记录中分离,用户可以围绕同一份内容继续编辑和迭代。它是产品交互方式的变化,不意味着模型生成的代码已经通过测试或可以直接上线。发布材料对模型能力的评估,也应与具体工作场景的可靠性区分。

Llama 3:开放权重扩展至 405B产业与组织

Meta 的 Llama 3 系列将开放权重模型扩展到4050亿参数,论文报告多语言、编程、推理与工具使用能力。大规模模型的公开发布,为研究与自行部署提供了新的参照。

技术报告介绍最大模型为稠密 Transformer,支持最高128K Token 上下文,并公开预训练与后训练版本。论文展示部分任务上与领先模型相当的结果,不能据此断定所有应用差距已缩短到几个月。模型开放还需要与许可证和实际部署资源要求一起理解。

o1:把更多计算用在回答之前算法与模型

OpenAI 发布 o1 推理模型研究与预览版本,通过强化学习改善回答前的推理过程。报告显示,增加训练计算与推理时计算都能改善部分任务表现,能力扩展出现新的方向。

官方材料区分研究模型与当时开放的 o1-preview,并在数学、编程和科学问答中给出评估结果。“达到博士水平”仅涉及特定基准,不是对全部科研能力的认定。更长的推理需要更多时间与资源,其价值必须结合正确率、成本和使用场景判断。

神经网络与蛋白质研究获诺贝尔奖产业与组织

2024年物理学奖授予霍普菲尔德与辛顿;化学奖一半授予大卫·贝克,另一半授予哈萨比斯与江珀。神经网络基础、蛋白质设计和结构预测,在同一年得到表彰。

化学奖的贡献分为计算蛋白质设计与蛋白质结构预测,不能将整个奖项都归为 AlphaFold。物理学奖表彰支持人工神经网络机器学习的基础发现与发明。两项奖励体现计算方法对科学研究的作用,但不代表蛋白质相关问题已经全部解决。

o3 在 ARC-AGI 评估中取得进展算法与模型

ARC Prize 公布 o3 在 ARC-AGI-1 半私有测试集上的成绩:较低计算配置为75.7%,高计算配置为87.5%。成绩提升突出,也说明讨论能力时必须同时说明测试与计算预算。

两种配置的计算量相差约172倍,模型还接受了部分公开训练题的训练。这个结果显示,增加推理资源可以改善一部分新任务的表现,也提醒研究者将效率纳入能力评价。87.5%并不等于所有未知任务已经解决,更不能单独证明通用智能已经实现。

DeepSeek-V3:效率与成本口径算法与模型

DeepSeek-V3 是总参数671B、每个 Token 激活37B的混合专家模型。报告给出正式训练所需 GPU 时数及估算成本,展示了架构、数值精度和训练系统共同优化的作用。

报告按每 H800 GPU 小时2美元估算,正式训练合计278.8万 GPU 小时,对应557.6万美元,涵盖预训练、上下文扩展和后训练。它明确排除前期研究与消融实验,因此不是公司的全部研发成本,也不是硬件采购、人员与运营的完整账单。

智能体产品走向浏览器与终端应用与产品

OpenAI 的 Operator 与 Anthropic 的 Claude Code 先后推出研究预览,把模型与浏览器、终端工具连接起来。AI 产品开始尝试读取环境、执行操作,再根据反馈继续完成任务。

Operator 于1月推出,Claude Code 于2月提供有限研究预览。后者可以搜索和编辑代码、运行测试及使用命令行工具。能够执行动作也意味着需要权限、可检查的结果和错误恢复机制;产品演示不能推断为已经可靠替代全部工作流程。

DeepSeek-R1:开放推理训练路线产业与组织

DeepSeek 发布 R1、R1-Zero 及蒸馏模型,并公开推理训练研究。R1-Zero 探索直接强化学习,R1 则加入冷启动数据和多阶段训练;两者不能混为同一个训练流程。

原始论文报告 R1-Zero 在没有前置监督微调时出现推理行为,也指出可读性与语言混杂等问题。R1 通过冷启动与后续训练改善这些问题,并报告部分推理任务上接近 o1-1217 的结果。论文没有给出与 o1 可直接比较的完整研发成本,因此不沿用“成本零头”。

Gemini 2.5:推理与长上下文算法与模型

Google 推出 Gemini 2.5 Pro 实验版本,将更长的推理过程作为模型能力的一部分,并结合多模态与长上下文。竞争逐渐从流畅回答扩展到复杂问题的处理方式与效率。

Google 的发布文介绍了推理、编程等评估结果及百万 Token 上下文。长上下文扩展了可提供的信息范围,推理机制则面向如何处理这些信息。两者结合为复杂任务提供了新的可能;发布时的榜单成绩仍只是特定时间和测试设置下的快照。

Llama 4:原生多模态模型产业与组织

Meta 发布 Llama 4 Scout 与 Maverick,推进原生多模态模型路线,并介绍作为教师模型的 Behemoth。开放模型继续分化,模型规模、架构与实际部署方式成为不同选择维度。

Scout 与 Maverick 让 Meta 的模型家族进一步转向多模态,发布时还介绍了 Behemoth 教师模型。教师模型、面向用户的模型以及具体部署产品承担不同角色。理解这一节点,需要分别查看模型是否已经开放、适用的许可及评估条件,而非仅用单一排名判断整条技术路线。

Qwen3:可切换的推理模式产业与组织

Qwen 团队发布 Qwen3,开放两个混合专家模型与六个稠密模型,覆盖0.6B到235B总参数规模。系列采用 Apache 2.0 许可,并让开发者在思考与非思考模式间选择。

最大的 Qwen3-235B-A22B 拥有2350亿总参数,每次激活约220亿;模型名称中的总参数与激活参数并非同一指标。不同规模和推理模式为部署成本、响应速度与任务难度提供选择,但不意味着任一型号在所有场景都拥有同样能力。

Claude 4 与编程智能体算法与模型

Anthropic 推出 Claude Opus 4 与 Sonnet 4,同时将 Claude Code 转为正式可用。模型支持快速回答和延长思考,产品开始围绕代码库修改、工具调用与较长任务组织工作。

发布文展示持续编码任务、并行工具使用和本地文件记忆等能力,并给出软件工程评估。演示中持续数小时工作的案例不代表所有任务都能无人监督成功;不同工具框架与计算预算也会改变分数。历史节点应保留功能与发布状态,避免无条件“遥遥领先”。

Grok 4:强化学习与工具使用算法与模型

xAI 发布 Grok 4,强调规模化强化学习、原生工具调用与实时搜索,并介绍使用并行推理的 Heavy 版本。其进展体现推理模型与外部工具进一步结合的路线。

官方发布文报告 Grok 4 在 ARC-AGI-2 上获得15.9%,并描述使用20万 GPU 集群开展强化学习训练。Heavy 版本通过并行推理考虑多个候选方向。这些设计把训练资源与推理资源同时纳入能力扩展,但比较成绩时仍须说明基准版本、工具和计算预算。

Kimi K2:面向工具调用的开放模型产业与组织

月之暗面推出 Kimi K2,以混合专家架构提供万亿总参数、320亿激活参数,重点面向编程与工具调用。模型开放让开发者能在自有环境中研究和构建智能体应用。

官方介绍区分总参数与每个 Token 参与计算的激活参数,并列出不同智能体框架下的编程和工具使用评估。同一模型在不同工具框架、尝试次数下会有不同结果。K2 的开放使开发者能够研究这些组合,也说明模型本身与完整智能体系统并非同一个对象。

Genie 3:可交互的生成世界理论与思想

Google DeepMind 展示 Genie 3,根据文字提示生成可实时探索的动态环境。官方报告其能以720p、每秒24帧维持数分钟的一致性,研究从生成视频进一步走向响应行动。

这类世界模型根据用户行动连续生成画面,可以用于探索环境交互与智能体训练。与预先生成一段固定视频相比,它需要持续响应输入并保持场景连贯。视觉上合理并不等于严格遵守物理规律,交互持续时间、动作范围和一致性仍是需要衡量的能力边界。

GPT-5:统一快速回答与深入推理算法与模型

OpenAI 发布 GPT-5,将快速回答模型、较深推理模型与路由机制组织成统一系统。产品根据任务复杂度、工具需求和用户意图选择处理方式,并按不同账户提供相应使用额度。

官方说明中的统一系统并不意味着只有一个完全相同的模型处理全部请求。GPT-5 面向包括免费用户在内的账户推出,但使用量与可选能力不同。这个节点反映产品组织方式的变化,不宜把发布表现、商业收入与 AGI 定义变化串成未经证实的因果故事。

中国 AI 生成内容标识办法施行治理与规则

《人工智能生成合成内容标识办法》自9月1日起施行,规定显式、隐式标识及相关服务主体义务。生成内容的识别与传播责任,进一步落实到服务提供和内容发布环节。

办法针对适用范围内的生成合成服务及传播活动作出具体要求,并规定用户发布生成内容时应主动声明。文件同时设有不含显式标识内容的条件性安排,不能简化为每一份 AI 文本都必须显示同样水印。具体义务需结合服务类别、场景及配套标准理解。

Sora 2:视频与声音共同生成应用与产品

OpenAI 发布 Sora 2,增加同步对白与音效等音视频生成能力,并推出围绕视频创作和分享的应用。模型研究进一步进入面向公众的创作工具与内容传播场景。

同步声音使视频生成不再只处理连续画面,还需要协调对白、音效与动作。发布文同时介绍可控性与物理表现的改善。它们拓宽了创作方式,也使身份使用、生成内容识别和传播责任更值得关注;能力改善仍不意味着模型能够准确模拟所有现实过程。

原始出处Sora 2 is here ↗
OpenAI 完成资本结构调整产业与组织

OpenAI 宣布完成资本结构调整,非营利机构以 OpenAI Foundation 名义继续控制营利实体 OpenAI Group PBC。前沿 AI 的商业发展与公益使命之间,形成新的组织安排。

官方公告明确非营利机构仍保留控制权,并称其持有股权当时估值约1300亿美元。营利实体采用公共利益公司形式,非营利机构则以基金会名义开展工作。这种组织安排将商业融资与使命治理并置;股权估值、控制权和实际可支配资金是三个不同概念。

Gemini 3 与 Claude Opus 4.5 相继发布算法与模型

Google 与 Anthropic 在11月相继发布 Gemini 3 和 Claude Opus 4.5,分别强调多模态推理、编程和智能体工作。旗舰模型竞争持续,但“谁最强”需要具体到任务和评估方式。

Gemini 3 的发布强调多模态理解和推理,并说明 Deep Think 计划稍后向相应订阅用户开放;Opus 4.5 则强调编程、智能体与电脑操作。两家公司都给出软件工程等评估。不同型号、工具框架与计算预算下的结果需要分别理解,不能用一个分数概括所有能力。

Ofcom 就 Grok 相关内容调查 X治理与规则

英国通信监管机构 Ofcom 于1月12日宣布调查 X,审查其是否履行保护用户免受违法内容影响的义务。调查与 Grok 被用于生成和传播非自愿私密图像等报道有关。

调查针对 X 在英国《在线安全法》下的风险评估和用户保护等义务,涉及违法内容及儿童可能接触的有害材料。启动程序不等于已经认定违法。模型生成、平台传播和服务运营是相关但不同的环节,监管机构的具体权限与调查对象决定了责任审查的范围。

Qwen3.5:开放视觉语言模型产业与组织

Qwen 团队发布 Qwen3.5 系列,首个开放权重型号为 Qwen3.5-397B-A17B,面向视觉语言、推理与智能体能力。开放模型与托管 API 产品继续并行发展。

397B总参数与17B激活参数说明了混合专家模型的两种规模口径。原生视觉语言设计面向文本与图像等信息的联合处理,公开权重则使开发者能够开展自行部署和适配。开放模型与托管API是不同交付方式,选择时还需比较许可、资源需求和服务支持。

GPT-5.5 与 GPT-5.6 Sol 预览算法与模型

OpenAI 于4月发布 GPT-5.5,并在6月26日预览 GPT-5.6 Sol。官方材料进一步强调编程、知识工作与跨工具任务,模型的发展开始更多围绕连续执行和工作结果展开。

GPT-5.5 公告介绍代码、研究、数据分析及操作软件等用途,强调从计划、调用工具到检查结果的连续过程。随后 GPT-5.6 Sol 以预览形式出现。研究预览、正式发布与各渠道开放是不同阶段;观察工作型模型时,完成质量和可核验的交付比单次回答更有意义。

DeepSeek-V4:百万上下文预览算法与模型

DeepSeek 于4月24日上线并开放 V4 预览系列,分为 Pro 与 Flash,提供百万 Token 上下文及 API 服务。长上下文与智能体能力继续成为模型设计的重要目标。

官方公告中,Pro 与 Flash 同时作为预览版本提供,分别面向不同能力和效率需求。百万 Token 上下文扩展了单次任务可容纳的信息,但上下文窗口并不等于跨会话记忆,也不保证所有细节都会被准确调用。较长任务的可靠性仍需要专门评估。

Anthropic 秘密递交 S-1 草案产业与组织

Anthropic 于6月1日宣布向美国证券交易委员会秘密递交拟首次公开发行的 S-1 注册声明草案。该程序为未来上市保留选择,并不代表已完成上市或已经确定发行价格。

公司公告说明拟发行股份数量与价格尚未确定,是否进行发行仍取决于市场条件及其他因素。秘密递交草案是上市准备流程中的一个动作,既不代表已经获得批准,也不等于证券开始交易。模型公司的融资与治理发展,可以通过这类正式文件与产品路线分别观察。

宇树科技在科创板上市应用与产品

上海证券交易所公告确认,宇树科技股票自8月19日起在科创板上市交易,证券代码688836。机器人企业进入公开市场,形成可由交易所正式文件核对的产业节点。

交易所公告列明公司A股股本约4.0446亿股,其中约3008.772万股自8月19日起上市交易。上市使公司的经营信息进入持续公开披露体系,为观察机器人企业提供了新的材料。资本市场的交易节点与产品能力、生产规模及实际应用成熟度仍应分别评价。

GPT-6 家族扩展至 Sol 与 Luna算法与模型

OpenAI 在 GPT-6 Astra 之后推出 Sol 与 Luna,将同代模型进一步按能力、速度与成本区分。9月22日的官方更新记录了家族扩展,模型选择继续从单一旗舰走向不同工作需求。

Sol 与 Luna 的公告强调成本效率与编程、电脑操作等用途,并延续 Astra 的部分训练方法。模型家族分层使开发者可以按照任务难度、时延和预算选择。某项测试中的成本优势只适用于其比较对象与配置,不能直接扩展为全部工作场景下的相同比例。

人物索引

关联来自已核对的事件记录,不代表完整履历、全部合作或贡献排名。历史机构名称以各条正文为准。

艾伦·图灵2 个节点
诺伯特·维纳1 个节点
沃伦·麦卡洛克1 个节点
唐纳德·赫布1 个节点
约翰·麦卡锡2 个节点
马文·明斯基3 个节点
艾伦·纽厄尔3 个节点
赫伯特·西蒙3 个节点
弗兰克·罗森布拉特1 个节点
阿瑟·塞缪尔1 个节点
约瑟夫·魏岑鲍姆1 个节点
爱德华·费根鲍姆1 个节点
约翰·霍普菲尔德2 个节点
大卫·鲁梅尔哈特1 个节点
杰弗里·辛顿6 个节点
杨立昆3 个节点
约书亚·本吉奥3 个节点
于尔根·施密德胡伯1 个节点
李飞飞1 个节点
吴恩达1 个节点
亚历克斯·克里热夫斯基1 个节点
何恺明1 个节点
伊恩·古德费洛1 个节点
托马斯·米科洛夫1 个节点
阿希什·瓦斯瓦尼1 个节点
诺姆·沙泽尔1 个节点
德米斯·哈萨比斯5 个节点
大卫·席尔弗3 个节点
约翰·江珀2 个节点
萨姆·奥特曼3 个节点
格雷格·布罗克曼2 个节点
伊利亚·苏茨克维4 个节点
米拉·穆拉蒂1 个节点
亚历克·拉德福德2 个节点
贾里德·卡普兰1 个节点
汤姆·布朗1 个节点
欧阳龙1 个节点
埃隆·马斯克1 个节点
萨提亚·纳德拉1 个节点
梁文锋2 个节点
戴维·贝克1 个节点

机构索引

关联来自已核对的事件记录,不代表完整履历、全部合作或贡献排名。历史机构名称以各条正文为准。

OpenAI22 个节点
Anthropic7 个节点
Google DeepMind18 个节点
Meta AI(FAIR)4 个节点
微软4 个节点
英伟达1 个节点
xAI1 个节点
Mistral AI1 个节点
DeepSeek 深度求索3 个节点
月之暗面 Moonshot1 个节点
阿里 · 通义千问3 个节点
字节跳动 · 豆包1 个节点
百度1 个节点
华为 · 昇腾1 个节点
宇树科技1 个节点
Stability AI1 个节点
苹果1 个节点
IBM4 个节点
DARPA2 个节点
国家网信办2 个节点
麻省理工学院3 个节点
斯坦福大学3 个节点
卡内基梅隆大学1 个节点
多伦多大学2 个节点
普林斯顿大学1 个节点
斯坦福研究院1 个节点
贝尔实验室1 个节点

回到原始资料。

146 份去重来源。具体引用关系保存在事件记录中。

81
CLIP 原论文 ↗
113
Hello GPT-4o ↗
134
Sora 2 is here ↗
回到全书目录 ↑