英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料

机器学习：趋势， 观点和前景

M. I. Jordan 1 *和T. M. Mitchell 2 *

机器学习涉及如何构建通过经验自动改进的计算机的问题。 它是当今最快速增长的技术领域之一，处于计算机科学统计的交叉点，是人工智能和数据科学的核心。 机器学习的最新进展受到新的学习算法和理论的发展以及在线数据和低成本计算的可用性的持续激增。 在整个科学，技术和商业中可以找到采用数据密集型机器学习方法，从而导致跨越多个行业的更多以证据为基础的决策，包括医疗保健，制造，教育，金融建模，警务和营销。

机器学习是一门关注两个相关问题的学科：如何构建通过经验自动改进的计算机系统？ 以及什么是管理所有学习系统（包括计算机，人类和组织）的基本统计计算信息理论法则？机器学习的研究对于解决这些基本的科学和工程问题以及它在许多应用中产生和应用的高度实用的计算机软件是重要的。

在过去二十年中，机器学习取得了巨大的进步，从实验室到广泛商业使用的实用技术。在人工智能（AI）中，机器学习已经成为开发用于计算机视觉，语音识别，自然语言处理，机器人控制和其他应用的实用软件的首选方法。许多AI系统的开发人员现在认识到，对于许多应用程序，它可以通过显示期望的输入输出行为的示例比通过预期对于所有可能的输入的期望的响应手动地对其进行编程更容易训练系统。机器学习的效果也广泛地被计算机科学和涉及数据密集型问题的一系列行业所感知，例如消费者服务，故障诊断复杂系统，以及物流链的控制。在经验科学方面，从生物学到宇宙学到社会科学，都有类似的广泛影响，因为机器学习方法已经发展成以新颖的方式分析高通量实验数据。参见图1，图1描述了机器学习的一些最近的应用领域。

学习问题可以被定义为通过某种类型的训练经验来提高执行某个任务时的一些性能度量的问题。例如，在学习检测信用卡欺诈时，任务是为任何给定的信用卡交易分配“欺诈”或“不欺诈”的标签。要改进的性能度量可能是该欺诈分类器的准确性，并且训练经历可以包括历史信用卡交易的集合，每个交易被回溯地标记为是否是欺诈的。或者，可以定义不同的性能度量，当“欺诈”被标记为“不欺诈”时，而不是“不欺诈”被错误地标记为“欺诈”时，分配更高的惩罚。也可以定义不同类型的训练经验，包括未贴标签的信用卡交易以及标签示例。已经开发了各种各样的机器学习算法来覆盖在不同机器学习问题（1,2）中展示的各种各样的数据和问题类型。在概念上，机器学习算法可以被视为在训练经验的指导下搜索候选程序的大空间，以找到优化性能度量的程序。

机器学习算法部分地通过它们表示候选程序（例如，决策树，数学函数和通用编程语言）的方式而变化，并且部分地通过它们在程序的这个空间中搜索的方式（例如，具有良好理解的收敛保证的优化算法和评估随机突变程序的连续世代的进化搜索方法）。在这里，我们专注于迄今为止特别成功的方法。

许多算法集中于函数近似问题，其中任务被体现在函数中（例如，给定输入事务，输出“欺诈”或“非欺诈”标签），并且学习问题是提高该函数的准确性，其经验包括该函数的已知输入输出对的样本。在一些情况下，该函数被显式地表示为参数化函数形式;在其他情况下，该函数是隐式的，并且经由搜索过程，因式分解，优化过程或基于仿真的过程获得。即使当隐式时，该函数通常依赖于参数或其他可调谐自由度，并且训练对应于找到优化性能度量的这些参数的值。

无论什么学习算法，一个关键的科学和实践目标是理论上描述特定学习算法的能力和任何给定学习问题的固有困难：算法如何准确地从特定类型和体积的训练数据学习？算法对于其建模假设中的误差或训练数据中的误差有多鲁棒？给定一个给定量的训练数据的学习问题，是否有可能设计一个成功的算法或这个学习问题根本难以处理？

机器学习算法和问题的这种理论表征通常利用统计决策理论和计算复杂性理论的熟悉的框架。事实上，表征机器学习算法的尝试理论上导致了统计和计算理论的混合，其中目标是同时表征样品复杂性（需要多少数据准确学习）和计算复杂性（多少计算需要），并指定它们如何依赖于学习算法的特征，例如它用于学习什么的表示有用的计算分析的特定形式是优化理论，其中优化程序的收敛率的上限和下限与机器学习问题的公式良好地合并作为性能度量的优化（7,8）。

作为一个研究领域，机器学习处在计算机科学，统计学和各种其他关于自动改进的学科的交叉点，推理和不确定性下的决策。相关学科包括人类的心理学研究学习，进化研究，自适应控制理论，教育实践，神经科学，组织行为和经济学的研究。虽然过去十年与这些其他领域的交叉洽谈增加，但我们只是开始挖掘潜力协同作用以及在这些多个领域中使用的形式主义和实验方法的多样性，用于研究随着经验改进的系统。

机器学习进程的驱动力

过去十年，网络和移动计算系统收集和传输大量数据的能力迅速增长，这种现象通常被称为“大数据”。收集这些数据的科学家和工程师经常转向机器学习来解决从这些数据集获得有用的洞察力，预测和决策的问题。事实上，数据的绝对尺寸使得必须开发出可扩展的程序，混合计算和统计考虑，但问题不仅仅是现代数据集的大小;它是许多这些数据的粒状，个性化的性质。移动设备和嵌入式计算允许收集关于个人的大量数据，并且机器学习算法可以从这些数据学习以根据每个个体的需要和情况来定制他们的服务。此外，这些个性化服务可以连接，使得整体服务出现，利用来自许多个人的数据的财富和多样性，同时仍然定制到每个的需要和情况。可以在商业，科学和政府的许多领域找到这种捕获和挖掘大量数据以改进服务和生产力的趋势的实例。历史医疗记录用于发现哪些患者对哪些治疗反应最佳;历史流量数据用于改善流量控制并减少拥塞;历史犯罪数据用于帮助在特定时间将地方警察分配到特定地点;和大型实验数据集被捕获和策划，以加速生物学，天文学，神经科学和其他数据密集型实证科学的进展。我们似乎处于跨越数十年的趋势，开始在数据密集型，循证决策跨越科学，商业和政府的许多方面。

随着大规模数据在人类努力的所有领域的日益突出，对基础机器学习算法产生了新的需求。例如，巨大的数据集需要计算容易处理的算法，高度个人数据提出了对使隐私效果最小化的算法的需要，并且大量未标记数据的可用性提出了设计学习算法以利用它的挑战。 接下来的部分调查了这些需求对机器学习算法，理论和实践中最近工作的一些影响。

核心方法和最新进展

最广泛使用的机器学习方法是监督学习方法（1）。监督学习系统，包括电子邮件的垃圾邮件分类器，图像上的面部识别器和用于患者的医疗诊断系统都示范了先前讨论的函数近似问题，其中训练数据采取（x，y）对并且目标是响应于查询x *而产生预测y *。输入x可以是经典向量，或者它们可以是更复杂的对象，例如文档，图像，DNA序列或图形。类似地，已经研究了许多不同类型的输出。通过关注简单的二分类分类问题已经取得了很大的进展，其中采用了两个值之一（例如，“垃圾邮件”或“非垃圾邮件”），但是也已经对诸如多类分类y采用K个标签中的一个），多标签分类（其中y由几个K标签同时标记），排序问题（其中y在一些集合上提供部分顺序）和一般结构化预测问题（其中y是组合对象，例如图形，其组件可能需要满足一些约束集合）。后一个问题的一个例子是词性标注，其中目标是同时将输入句子x中的每个单词标记为名词，动词或一些其他词性。监督学习还包括其中y具有实值分量或离散和实值分量的混合的情况。监督学习系统通常通过学习映射f（x）形成它们的预测，该学习映射f（x）为每个输入x（或给定x的y上的概率分布）产生输出y。存在许多不同形式的映射f，包括决策树，决策树，逻辑回归，支持向量机，神经网络，内核机器和贝叶斯分类器（1）。已经提出了各种学习算法以估计这些不同类型的映射，并且还存在通用程序，例如增强和多核学习，其组合多个学习算法的输出。

用于从数据学习的程序通常利用来自优化理论或数值分析的思想，其具有机器学习问题的特定形式（例如，要集成的目标函数或函数通常是大量项的总和）驱动创新。学习架构和算法的多样性反映了应用程序的多样化需求，不同的架构捕获不同种类的数学结构，提供不同级别的事后可视化和解释，并提供计算复杂性，数据和性能。近年来，监督学习进展的一个高影响领域涉及深度网络，其是阈值单元的多层网络，每个阈值单元计算其输入（9,10）的一些简单参数化函数。深度学习系统使用基于梯度的优化算法来基于其输出处的错误来调整贯穿这种多层网络的参数。利用现代并行计算架构，例如最初为视频游戏开发的图形处理单元，已经可以构建深度学习系统，其包含数十亿的参数，并且可以在可用的图像，视频和语音样本的非常大的集合上训练在网上。这样的大规模深度学习系统近年来在计算机视觉（11）和语音识别（12）中具有重大作用，其中它们相对于以前的方法已经产生了性能的主要改进（参见图2）。深度网络方法正在从自然语言翻译到协作过滤的各种附加应用中被积极地追求。

深层网络的内部层可以被视为提供输入数据的学习表示。尽管深度学习的大量实际成功来自用于发现这种表示的监督学习方法，但是还努力开发深入学习算法，其发现输入的有用表示，而不需要标记的训练数据（13）。一般的问题被称为无监督学习，第二个机器学习研究范式（2）。广泛地，无监督学习通常涉及在关于数据的结构性质（例如，代数，组合或概率）的假设下对未标记的数据的分析。例如，可以假设数据位于低维歧管上并且旨在从数据明确地识别该歧管。维度降低方法 - 包括主成分分析，流形学习，因子分析，随机投影和自动编码器（1,2） - 对基础歧管进行不同的特定假设（例如，它是线性子空间，平滑非线性歧管，或子歧管的集合）。尺寸缩减的另一个例子是图5中描绘的主题建模框架。定义了体现这些假设的标准函数，通常利用诸如最大似然的一般统计原理，矩的方法或贝叶斯积分，并且开发优化或采样算法以优化标准。作为另一示例，聚类是在没有指示期望分区的显式标签的情况下找到观察数据的分区（以及用于预测未来数据的规则）的问题。已经开发了广泛的聚类过程，其全部基于关于“聚类”的性质的特定假设。在聚类和维度降低中，对计算复杂度的关注是至关重要的，因为目标是利用特别大的数据如果没有监督标签，则可用的集合。

第三个主要的机器学习范式是强化学习（14,15）。这里，训练数据中可用的信息介于监督学习和非监督学习之间。代替针对给定输入指示正确输出的训练示例，假设强化学习中的训练数据仅提供关于动作是否正确的指示;如果操作不正确，仍然存在找到正确操作的问题。更一般地，在输入序列的设置中，假设奖励信号指的是整个序列;不直接提供对序列中的个体动作的信用或责任的分配。实际上，尽管研究了称为强盗问题的简化版本的强化学习，其中假设在每个动作之后提供奖励，强化学习问题通常涉及一般的控制理论设置，其中学习任务是学习控制策略一种“政策”），用于在未知的动态环境中行动的代理，其中所学习的策略被训练为选择针对任何给定状态的动作，目的是使其随时间的预期回报最大化。多年来，与控制理论和运筹学研究的联系越来越多，例如马尔科夫决策过程和部分观察到的马尔可夫决策过程提供了接触点（15,16）。加强学习算法通常利用控制理论文献中熟悉的想法，例如策略迭代，价值迭代，推出和方差减少，以及针对机器学习的特定需求而产生的创新（例如，大规模问题，关于未知动态环境的少量假设，以及使用监督学习架构来表示策略）。还值得注意的是强化学习与几十年来在心理学和神经科学学习方面的强有力的联系，一个值得注意的例子是使用强化学习算法来预测猴子中多巴胺能神经元的反应，学习将刺激光与随后的糖奖励（17）。

虽然这三种学习范式有助于组织思想，但目前的研究涉及这些类别的混合。例如，半监督学习利用未标记的数据来增加在监督的学习上下文中的标记数据，并且区分性训练混合使用利用标签的优化公式为无监督学习开发的架构。模型选择是使用训练数据不仅适合模型而且从一系列模型中选择的广泛活动，以及训练数据不直接指示使用哪个模型导致使用为匪盗问题开发的算法的事实和贝叶斯优化过程。当学习者被允许选择数据点并且询问训练者以请求有针对性的信息（例如，否则未标记的示例的标签）时，主动学习出现。因果建模是超越简单地发现变量之间的预测关系以区分哪些变量因果地影响其他变量的努力（例如，高白细胞计数可以预测感染的存在，但是是导致高的白细胞计数）。许多问题影响所有这些范例中的学习算法的设计，包括数据是批量可用还是随时间顺序地到达，数据如何被采样，学习模型可由用户解释的要求以及当数据做出时所产生的问题不适合以前的建模假设。

新兴趋势

机器学习的领域已经足够年轻，它仍然在迅速扩展，通常是通过发明由实际应用驱动的机器学习问题的新形式化。（一个例子是推荐系统的开发，如图4所描述的）。推动这种扩展的一个主要趋势是对机器学习算法操作的环境的日益关注。词语“环境”在这里部分地指计算架构;而经典机器学习系统涉及在单个机器上运行的单个程序，现在通常将机器学习系统部署在包括数千或数万个处理器的架构中，使得通信约束和并行性问题并以分布式处理为中心。实际上，如图5所示，机器学习系统越来越多地采取在大规模并行和分布式计算平台上运行的复杂软件集合的形式，并且为数据分析者提供一系列算法和服务。

词语“环境”还指代数据源，其范围从可能具有隐私或所有权关注的一组人，到可能对机器学习系统具有某些要求的分析者或决策者（例如，其输出是可视化的）以及围绕系统的部署的社会，法律或政治框架工作。环境还可以包括其他机器学习系统或其他代理，并且系统的整体集合可以是协作的或对抗。广义地说，环境向学习算法提供各种资源并对这些资源施加约束。机器学习研究人员越来越多地形式化这些关系，目的是设计在各种环境中可证明有效的算法，并且明确允许用户表达和控制资源之间的权衡。

作为资源约束的示例，让我们假设数据由希望保持一定程度的隐私的一组个人提供。隐私可以经由“差分隐私”的概念形式化，其定义了数据和外部世界之间的概率信道，使得信道的输出的观察者不能可靠地推断出特定个体是否已经提供了数据（18）。差分隐私的经典应用涉及确保对私有化数据库的查询（例如，“一组帐户之间的最大余额是多少？”

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[140947]，资料为PDF文档或Word文档，PDF文档可免费转换为Word