人工智能、机器学习、深度学习:三个概念怎样区分

作者:

在

作者:lihao技术文章发布:AI 原理与智能系统 · 第 01 期

用同一个分类任务区分手写规则、从样本拟合和多层表示学习;模型的计算方式与系统职责分别讨论。

三个词,回答的并不是同一层问题

一套程序能下棋,我们会说它属于人工智能研究的对象;它是否必须先从大量棋谱学习?并不必须。若把人工智能、机器学习和深度学习当成同义词,就很难说清一套系统靠什么得到能力。

本文采用常见的教学关系:人工智能(AI)是围绕智能任务的广泛研究领域;机器学习(ML)研究如何借助数据或经验改进任务表现,是实现AI的一类方法;深度学习(DL)是以多层可学习表示为重要特征的一类机器学习方法。这个包含关系便于定位方法,不是按商业产品名称划分的法律或标准分类。

1955年的达特茅斯项目建议书把语言、抽象、问题求解与自我改进等列为研究问题。[1] 它提出的是研究设想,不能把当年的设想当作后来已经证明所有智能都可被机器完整模拟的结论。

用一个任务比较三种做法

设想给短消息分成“普通”与“待复核”两类。为了讲清机制,先只用两个特征:某个词出现的次数x₁,链接数量x₂。这是本文构造的教学任务,没有真实用户消息,也不评价任何真实检测系统。

第一种做法是人工写规则:若链接超过某个阈值,就送去复核。阈值由人指定,没有从样本自动拟合;规则系统仍可能是更大AI系统的一部分,不能仅因没有神经网络就断言它与AI无关。

第二种做法是固定线性打分形式s=w₁x₁+w₂x₂+b,再利用带标签样本选择w₁、w₂和b。人规定特征、模型族与损失,训练过程按数据调整参数。它属于机器学习,却不因参数是学来的就自动属于深度学习。

第三种做法是让模型从字符或词元等输入出发,经过多层变换形成表示并输出分类。中间表示也参与学习,这是深度学习常见的工作方式。究竟多少层才叫深,并没有一个适用于所有架构的固定门槛。[2]

学习发生在什么地方

把训练过程写成“数据→训练算法→参数”,把使用过程写成“新输入+参数→输出”,就能区分训练与推理。一个已经训练好的模型,在每次推理时可以只是执行确定的运算;它不一定边回答边更新权重。

因此,运行程序时行为很稳定,不妨碍它的参数来自学习;反过来,程序根据一条人工规则改变输出,也不等于它正在学习。判断时要找可观察的更新机制,而不是凭“看起来聪明”下结论。

Mitchell的机器学习教材把学习与任务、经验和表现改进联系起来。[3] 实际报告还必须说明指标和数据划分,否则“模型学习了”可能只是记住训练样本。下一篇会专门讨论这个差别。

一张表看清比较对象

比较项 手写规则示例 线性学习示例 多层表示学习示例
主要由人指定 规则及阈值 特征、模型族与目标 架构、目标与训练流程
从样本调整 本例没有 权重和偏置 多层参数及表示
必须核验 覆盖与例外 未见数据误差 未见数据误差与计算代价

这张表不能推出第三种一定最好。样本少、解释要求强、任务规则明确时,简单规则或浅层模型可能更合适。在非线性、宽度和连接结构适当时,更深的模型可能更有效地表达某些函数;但深度本身不保证表达力或效果提升,也可能增加训练、调试与部署成本。它不会自动带来正确标签或稳定泛化。

把一层网络写出来,才知道“学了表示”是什么意思

令输入为二维向量x=(x₁,x₂)。构造隐藏表示h=ReLU(Wx+b),再计算分数s=vᵀh+c。ReLU把负数截为0,保留非负数。这里的关键不只是乘法数量多,而是前一级的输出成为后一级的输入,而且W、b、v、c可以共同由训练目标调整。

若第一层只做线性变换h=Wx,后一层也只做线性变换s=vᵀh,那么复合后仍是s=(vᵀW)x。一味叠加线性层,并没有获得任意非线性关系。非线性、结构与目标之间的配合,才决定模型能表达什么。

例如用两个二值输入构造XOR:输入00、11标0,01、10标1。假定单个线性阈值分类器s=w₁x₁+w₂x₂+b≥0时输出1,则00为0要求b<0;01、10为1分别要求w₂+b≥0和w₁+b≥0。相加得到w₁+w₂+2b≥0,因此11处的s≥-b>0,与其应为0矛盾。问题不在训练次数不够,而在这个模型族不能表达该划分。

多层非线性模型可以构造相应区域,但这不是说每个实际分类问题都需要深网。XOR只是一项表达能力的例证,没有代表自然数据分布,也没有比较学习效率、鲁棒性或部署成本。[2,表示与复合函数的讨论]

学习、搜索和推理,为什么常在同一个系统里出现

考虑下棋系统:搜索负责在候选行动和后续局面中展开比较;评估函数估计局面价值;规则限定哪些行动合法。评估函数可以由人工设计,也可以从数据学习。搜索不是机器学习的同义词,但可以使用学习得到的组件。

再看一个检索问答系统:检索器寻找相关材料,模型生成回答,规则控制权限与输出格式。文本来自检索,不说明模型在本次调用中更新了权重;外部记忆增加,也不自动等于参数学习。判断系统时,应追踪信息在什么位置被保存、何时影响后续行为。

这种拆解还能防止把能力归错原因。若系统回答了一个新事实,可能是训练中见过,可能是检索到了,也可能是上下文直接提供。只凭最终答案,不能断定哪种机制起作用。需要关闭或替换对应组件,构造受控比较。

因此,AI作为系统任务、ML作为获取某些能力的方法、DL作为一种模型与表示学习路线,可以同时成立。产品层面往往是组合关系,研究分类则帮助我们提出更可验证的问题。

评价模型,至少把四个问题分开

表达能力问是否存在一组参数能完成任务;可学习性问在给定数据与假设下能否学到有用规律;可优化性问训练算法能否实际找到合适参数;系统可用性还要问延迟、成本、失败与维护。四者不会由一个标签自动保证。

一个很大的网络可能表达目标函数,却因数据不足而无法稳定学习;一个可证明适合的统计模型,也可能因为实现错误而训练失败;测试误差较低的模型,还可能不满足部署资源与隐私条件。

这就是为什么技术报告应交代任务、数据、模型、训练、评估和运行条件。称为深度学习,只提供了部分机制线索;它不能代替对整条证据链的检查。

让XOR网络真正算一遍,区分表示与训练

沿用二值x₁、x₂,令u=x₁+x₂,h₁=ReLU(u),h₂=ReLU(u−1),输出y=h₁−2h₂。输入00时u=0,输出0;输入01或10时u=1,输出1;输入11时u=2,输出2−2=0。这个两单元隐藏表示已经能实现XOR。

这里权重是人为构造出来的,所以这次演示证明的是该模型族具有表达能力,不是证明某种训练算法必然能学到它。若真实训练失败,可能是初始化、目标函数、优化过程或数据编码的问题;表达能力充足不能替代这些条件。

它也没有说明XOR需要“非常深”的模型。一个小型非线性表示就够用。现代深度学习的复杂性来自更广的任务、表示复合与训练规模,不能用一个玩具函数为任意增加层数背书。

把这几个结论分开,就能更精确地阅读“某架构解决某任务”的报告:作者展示了存在性构造,训练得到的结果,还是在未见数据上的稳定表现?它们分别需要不同证据。

模型与完整系统还差一层

实际产品还包括数据清理、检索、规则、权限、监控和人工复核。一个应用可以同时使用手写规则与深度模型;它的可靠性不能只用模型在一张公开测试表里的分数表示。

这些方法类别不能代替对实际系统的评估。“AI”不能直接推出会学习,“机器学习”不能直接推出使用神经网络,“深度学习”不能直接推出接近人类理解。

以后遇到一个新系统,可以依次问:它完成什么任务,哪部分来自人工规则,哪些参数由数据确定,如何评价未见输入,以及失败由谁发现。这些问题比争夺一个标签更接近理解机制。

来源、证据与阅读路线

  1. McCarthy等,1955年达特茅斯AI研究项目建议书,开篇及研究主题
  2. Goodfellow、Bengio、Courville,Deep Learning,2016,第1章,尤其图1.4与表示学习讨论
  3. Tom Mitchell,Machine Learning,1997,作者提供的教材入口与第1章

证据范围:AI分类依据教材与所列任务定义;XOR网络是手工构造并核对有限输入的例子,没有进行数据训练或设备性能测量。

版本1.2 · 2026-10-18:完成事实、条件与引用复核,逐篇明确证据方法;有实质缺口处补齐推导、反例或原题。原网址与首次发布日期保留。

lihao
Author: lihao

喜欢这篇文章?登录后即可点赞,或先注册账号。

评论

0 条评论

欢迎交流与勘误。登录后可评论,提交后公开;请勿发布隐私、广告或无关内容。

写下你的评论