
把这一章,放回九十年。
全书目录 ↗分期是阅读线索,不同研究路线相互交叠。1956 年与 2024 年的章节边界允许从不同角度回看。
除了写规则,
还能怎样获得经验?
机器学习把一部分工作交给数据:选择表示、训练模型,再用未参与训练的样本检验效果。比较方法的共同基准,也逐渐变得重要。
支持向量机、循环网络与集成学习各有适用问题。与此同时,互联网积累数据,GPU 提供并行计算能力,公开数据集推动可比较的评测。这个时期为深度学习的下一次跃迁准备了条件。
这一章是一条精选阅读路径,不代表全部研究。事件事实与下文的概念示意分别标注。
泛化
关心没见过的数据,而不只是训练成绩。
基准
在共享任务上比较方法。
计算
让更多实验在合理时间内完成。
变化,发生在
这些转折之间。
向下阅读,图解随章节推进。
选择年份,也可直接抵达一个节点。
支持向量机:在边界处学习
Cortes 与 Vapnik 于 1995 年发表支持向量网络研究,将最大间隔分类与非线性映射结合。SVM 为分类任务提供了有理论基础的工具,在许多机器学习应用中得到采用。
模型寻找能分开类别的决策边界,并关注边界附近的样本。
查看事件与出处 ↗深蓝:赢下标准赛制六番棋
1997 年 5 月,IBM 深蓝以 3.5 比 2.5 战胜卡斯帕罗夫,成为在标准比赛时间控制下赢得对现任国际象棋世界冠军整场对抗赛的计算机系统。
深蓝结合专用计算、搜索、局面评估和大量棋类知识。
查看事件与出处 ↗LSTM:让记忆跨越更长序列
1997 年,Hochreiter 与 Schmidhuber 提出 LSTM,用专门的记忆单元与门控机制缓解循环网络学习长距离依赖的困难。它为序列建模提供了一条重要路线。
普通循环网络在长序列训练中可能难以保留有效梯度。
查看事件与出处 ↗深度信念网络:逐层学习
Hinton、Osindero 与 Teh 在 2006 年提出深度信念网络的快速学习方法,通过逐层训练构造深层表示。这推动了研究者重新关注多层网络与无监督预训练。
逐层训练先为模型建立较好的参数与表示,再结合整体调整,缓解当时训练深层网络遇到的一些困难。
查看事件与出处 ↗ImageNet:扩大视觉经验的规模
2009 年,Deng、李飞飞及同事发表 ImageNet 论文,介绍按 WordNet 概念组织的大规模图像库。当时论文报告约 320 万张图像、5247 个类别,后续数据库规模继续增长。
ImageNet 将层级语义组织、人工标注与大规模图像收集结合,为视觉研究提供更丰富的数据。
查看事件与出处 ↗离谁更近,
就更像谁吗?
点击一个查询点,再切换邻居数量。看看一个简单的近邻分类器如何投票。
使用固定二维教学样本,距离为欧氏距离,结果由页面实际计算;不是任何历史系统的性能评测。
选择查询点后,系统按距离选出邻居并投票。
历史,也由人连接。
选择人物,回看本章中的相关记录。
完整关联可在全书档案中继续追踪。
人物与机构通过事件建立关联,表示出现在同一记录中,不等同于任职关系或完整贡献排名。机构历史名称以事件正文为准。
沿主线读,也可以自己找。
展开事件,阅读说明与原始出处。
人物和机构标签连接到全书关系索引。
10 条记录
支持向量机:在边界处学习算法与模型
Cortes 与 Vapnik 于 1995 年发表支持向量网络研究,将最大间隔分类与非线性映射结合。SVM 为分类任务提供了有理论基础的工具,在许多机器学习应用中得到采用。
模型寻找能分开类别的决策边界,并关注边界附近的样本。软间隔允许一定错误,核方法则让分类器在隐式特征空间中处理非线性关系。它与神经网络各有适用条件;机器学习的发展并不是某一种方法全面统治后被另一种彻底取代。
此条记录的固定链接 #深蓝:赢下标准赛制六番棋应用与产品
1997 年 5 月,IBM 深蓝以 3.5 比 2.5 战胜卡斯帕罗夫,成为在标准比赛时间控制下赢得对现任国际象棋世界冠军整场对抗赛的计算机系统。
深蓝结合专用计算、搜索、局面评估和大量棋类知识。它曾在 1996 年赢下一局,但输了那场对抗赛,因此单局胜利与整场胜利应分开。1997 年的结果是特定竞技任务上的里程碑,不能据此推导通用智能,也不宜与后来的 AlphaZero 做未经统一评测的直接比较。
此条记录的固定链接 #LSTM:让记忆跨越更长序列算法与模型
1997 年,Hochreiter 与 Schmidhuber 提出 LSTM,用专门的记忆单元与门控机制缓解循环网络学习长距离依赖的困难。它为序列建模提供了一条重要路线。
普通循环网络在长序列训练中可能难以保留有效梯度。LSTM 设计受控的信息通道,使记忆能够被写入与读取。后来广泛使用的遗忘门属于后续发展,不能全部归入最初论文。LSTM 在语音和语言等任务中得到采用,但并不保证记住任意长度的信息。
此条记录的固定链接 #MNIST:共享一把评测尺数据与评测
MNIST 收集并标准化手写数字图像,常用划分含六万张训练图像和一万张测试图像。1998 年的文档识别论文使它成为比较分类方法的重要基准,研究结果因而更容易复现。
统一图像尺寸、训练集和测试集,为比较模型提供了共同条件。但一个数字识别数据集不能代表全部视觉能力;在同一测试集上反复改进,也需要警惕对基准的过度适应。MNIST 是公共评测文化的重要案例,而不是公共数据集与排行榜这一做法的起点。
GeForce 256:图形计算的一步算力与硬件
英伟达于 1999 年推出 GeForce 256,并用 GPU 命名其集成图形处理能力。这一产品属于图形硬件发展史;后来面向通用计算的可编程 GPU 才逐步成为神经网络训练的重要工具。
1999 年的图形芯片并不具备今天数千计算核心与成熟通用编程环境的形态。图形任务中的并行需求、后续可编程架构和软件平台,经过多年发展才与深度学习训练结合。将这些阶段分开,才能理解硬件、工具链与算法如何共同降低计算成本。
此条记录的固定链接 #Stanley:驶完沙漠赛道应用与产品
2005 年,斯坦福团队的 Stanley 赢得 DARPA Grand Challenge,自动完成约 212 公里的沙漠路线。它把感知、学习、定位与控制结合,展示了无人车在复杂户外环境中运行的进展。
车辆使用激光、相机、定位等信息判断道路与障碍,并把学习方法纳入感知系统。比赛提供了明确、可检验的任务,也推动了多个工程环节协同。沙漠赛道的成功并不等于城市自动驾驶已经解决:交通参与者、规则和长尾情境仍会带来新的困难。
此条记录的固定链接 #深度信念网络:逐层学习算法与模型
Hinton、Osindero 与 Teh 在 2006 年提出深度信念网络的快速学习方法,通过逐层训练构造深层表示。这推动了研究者重新关注多层网络与无监督预训练。
逐层训练先为模型建立较好的参数与表示,再结合整体调整,缓解当时训练深层网络遇到的一些困难。它是深度学习复兴的重要路径之一,但不是所有深层网络的首次可训练实现,也不是“深度学习”这个术语的发明时刻。后来监督训练与优化技术又发展出不同路线。
此条记录的固定链接 #ImageNet:扩大视觉经验的规模数据与评测
2009 年,Deng、李飞飞及同事发表 ImageNet 论文,介绍按 WordNet 概念组织的大规模图像库。当时论文报告约 320 万张图像、5247 个类别,后续数据库规模继续增长。
ImageNet 将层级语义组织、人工标注与大规模图像收集结合,为视觉研究提供更丰富的数据。2010 年起的 ILSVRC 使用特定任务与子集进行评测,不能与整个数据库混为一谈。后来常说的约 1400 万张图像,是增长后的规模,不宜回填到 2009 年论文。
此条记录的固定链接 #Watson:把问题变成候选答案应用与产品
2011 年 2 月播出的《危险边缘》对抗赛中,IBM Watson 战胜 Ken Jennings 与 Brad Rutter。系统结合语言分析、信息检索、证据打分与决策,展示了复杂问答任务的工程进展。
Watson 面对的线索包含双关、暗示和不同知识领域,系统需要生成多个候选答案并估计置信度,还要决定何时抢答和下注。比赛成绩证明了这一特定系统的能力;它并不自动证明医疗或其他高风险任务同样可用,那些应用需要单独设计与验证。
此条记录的固定链接 #Siri:语音助手进入手机应用与产品
苹果于 2011 年 10 月发布 iPhone 4S,将 Siri 集成进手机,用户可以用语音提出问题或发起提醒、通信等操作。这让对话式界面成为消费设备中更显眼的一部分。
Siri 把语音识别、请求解析与应用服务连接起来,能力取决于系统支持的任务及其背后服务。它不是可以自由完成所有请求的通用智能。这个节点的重要性在产品接口:用户不再总要逐层点击菜单,而可以尝试直接说出目标,再由系统完成有限范围内的操作。
此条记录的固定链接 #没有匹配记录。可以换个关键词,或重置筛选。
检索全部时代、人物与机构 ↗每个转折,
都有原件可读。
论文、机构档案和官方公告。
完整引用与对应事件一起保存。
本版核对:2026-10-15。封面为 AI 生成概念插图,不是历史照片;教学图解不替代原始研究。阅读编写说明 ↗
当机器,
开始「看见」。
当数据、训练方法与并行计算汇合,更深的网络迎来机会。