临床产妇数据可视化的设计和开发外文翻译资料

本科生毕业设计（论文）外文资料译文

（ 2019届）

外文资料译文规范说明

一、外文资料译文：

LSTMVis:一个用于循环神经网络中隐含状态可视化分析的工具

关键词：RNN，可视化，分析工具

引言—循环神经网络，特别是长短期记忆(LSTM)网络，是一种非常有效的序列建模工具，可以学习其序列输入的隐藏层内容。为更好地理解这些模型，感兴趣的研究人员研究了隐藏状态表示随时间的变化，并注意到一些可解释的模式，虽然仍有显著的噪声。在这项工作中，我们提出了LSTMVIS，创建一个视觉分析工具的循环神经网络的重点是理解这些隐藏层信息。该工具允许用户选择一个假设输入范围，以关注本地状态变化，将这些状态变化与大型数据集中类似的模式匹配，并将这些结果与来自其范围的结构注释进行对齐。我们展示了该工具的几个用例，用于分析包含嵌套、短语结构和吉他和弦内容的数据集上的特定隐藏状态属性，并演示了如何使用该工具的隔离模式来进行进一步的统计分析。我们描述了各领域不同用户以及他们的目标和任务。该工具上线后的长期使用数据显示人们对机器学习领域非常感兴趣。

1 介绍

在近年来，在很多人工智能任务中深度神经网络变成了一个主要的模型工具，比如说图像识别，语音识别以及文本分类。这些模型都有一个公共特征，利用输入的隐藏特征代表他们，不是用户预先设定的，而是从任务中获得的。这些隐藏表示的方法已经被证明是用了非常有效的分类方法。然而他们的黑盒性质深层的表示使模型本身难以解释。因此，虽然用户可以生产高性能的系统，但是他们很难分析系统学到了什么。

尽管所有的深度神经网络都利用隐藏的特征，但是不同的模型结构却针对对于不同的任务。标准深度神经网络(DNNs)学习大小固定的特征，而在图像识别中占主导地位的卷积神经网络(CNNs)则学习特定于任务的过滤器库来生成空间特征图。在这项工作中，我们的目光专注于被称为递归神经网络(RNNs)的产生一系列隐藏的特征状态表示的时间序列的深度神经网络架构。

RNNs已经被证明是一个有效的多用途的用于表示捕获序列建模应用的方法，比如说文本处理。最近强有力的实证结果表明RNNs能学会捕捉句子或文档中单词之间的复杂关系。这些改进的表示方式直接决定了终端应用在机器翻译、语音识别、音乐生成、文本分类等多方面的应用。

尽管RNNs在序列建模方面有了明显的改进，但是事实证明，还是很难解释表示序列建模的特性。因此，还不清楚一个特定的模型是如何表示序列中的长短距离关系的。通常，RNNs包含数百万个参数，并在时时相互转换。这些因素使得模型之间的依赖关系在没有复杂数学工具的情况下难以解释。我们如何使用户能够探索RNN中的复杂网络交互，并将这些抽象的表示让人们能够直接理解？

在这项工作中，我们着重研究RNN中隐藏特征的可视化分析。我们开发了LSTMVis，一个允许高级用户组探索和形成RNN隐含状态动力学假设的工具。我们分析了神经网络用户，并确定了三种主要的用户角色，每种角色都有不同的需求：开发新型深度学习结构的架构师、开发新数据集以训练现有模型的训练者以及把深度模型应用于新数据的最终用户。LSTMVis专注于架构师和训练者，为此我们进行了目标和任务分析，以开发有效的可视化编码和交互。LSTMVis结合了一个基于时间序列的选择接口和一个交互式匹配工具来搜索大型数据集中类似的隐藏层模式。可以通过访问lstm.seas.harvard.edu的实时系统其中提供了源代码。我们提出了应用我们的技术来识别和探索RNN中的模式的用例，这些模式是基于文本、语音识别、生物序列分析和其他领域的大型现实数据集训练的。我们在发布之前讨论我们的发布策略，这个策略是根据用户反馈来开发和改进工具。

2 周期性神经网络

RNNs是一种深度神经网络结构，已被证明对文本处理等序列建模任务有作用。处理可变长度文本序列的一个主要挑战是生成捕获或总结文本中长短距离关系的特性。对于需要处理和生成序列(如机器翻译)的任务，这些关系尤为重要。基于RNN的模型可以有效地学习每一个时间段的隐藏表示，然后用于决策。我们将这些表示随时间的变化的工作称为隐含状态动力学。在整个工作中，我们假设我们输入了一系列文本为时间1到t，可以是我们想要翻译的英语单词，也可以是我们想要检测其感情的句子，甚至可以是其他一些象征性的输入，如音符或代码。此外，我们将假设我们有从每个单词到向量的映射表示，这种表示可以是标准的固定映射，比如word2vec，也可以通过模型的其他部分学习到。

从形式上讲，RNN是一类连续的神经网络。将输入文本向量映射到隐藏特征状态序列表示为。这是通过学习神经网络RNN的权值在每个时间步递归应用t在的区间：为。

这个函数需要输入向量和一个隐藏的状态向量和赋予了新的隐含状态向量ht。每一个隐含状态向量都在实数自然数区间内，这些向量，特别是它们如何随时间变化，将是这项工作的主要焦点。我们将专注于每一个c属于尤其是隐含状态,c关于t的变化。

该模型学习这些隐含状态来表示输入词的特征。因此，它们可以用于使用离散顺序输入的任何建模任务。一个值得注意的应用是自然语言处理的核心任务RNN语言建模。在语言建模中，在t时，单词的前缀作为输入，为了模拟下一个单词的分布P。采用基于隐藏特征状态向量的多类分类方法ht，利用RNN生成该分布。我们正式定义为其中W，b是参数。RNN语言模型的完整计算如图2所示。

图 1 循环神经网络模型

人们已经广泛的认为，隐含状态能够捕获关于执行这种预测所必需的输入句子结构的重要信息。然而，很难追踪这是如何被捕捉到的，以及究竟学到了什么。例如，已经证明了RNNs可以计算括号或匹配引号，但不清楚RNNs是否能够自然地发现语言的某些性质，如短语、语法或主题。在这项工作中，我们特别关注通过检查隐含状态随时间的动态来探索这个问题。

我们的用例将主要集中在长短期内存网络上(LSTM)。LSTMs定义了RNN的一个变体，该变体能经过修改的隐含状态更新，可以更有效地学习长期交互。因此，这些模型在实践中得到了广泛的应用。此外，LSTMs和RNNs可以分层叠加，在每个时间步上产生多个隐含状态向量，进一步提高了性能（虽然我们的结果主要使用堆叠的LSTMs），但我们的可视化只需要访问某个时间演进的抽象向量表示，因此可以用于宽泛的任何层。

注意，LSTMs在每一步都维护一个单元状态向量和一个隐藏的状态向量。我们的系统可以用来分析这些载体中的任何一个或两个(甚至LSTM门)，在我们的实验中我们发现单元状态更容易处理。然而，为了简单起见，我们在整个论文中将这些向量一般称为隐含状态。

3 相关工作

通过可视化理解RNNs，我们的重要贡献是以结构化的方式可视化RNNs的动态状态，这是受到了之前在卷积神经网络视觉应用方面的工作的启发。在语言任务中，可视化已被证明是理解RNNs某些方面的有用工具。Karpathy等使用静态可视化技术来帮助理解语言模型中的隐含状态。这些实例表明，选定的单元格可以为诸如开括号和URLs开头等事件建模。

Li等提供了另外的技术，特别是使用基于梯度的显著性来查找重要的单词。他们还研究了几种不同的模型和数据集，包括文本分类和自动编码器。Kadar等研究表明，RNNs专门通过修改输入到模型中的输入内容来学习包含语义信息的词汇类型和语法功能。在这些技术的启发下，我们的方法试图超越单个示例，并提供了通用交互式可视化方法用于探索性分析的原始数据。

可解释性扩展RNN模型 最近的还开发了针对某些问题扩展RNNs的方法，以使它们更容易解释(以及改进模型)。一种流行的技术是使用神经反馈机制来让模型专注于输入的特定方面。Bahdanau等在机器翻译中使用了软对齐。Xu等通过神经反馈识别用于字幕的图像的重要方面，而Hermann等人用神经反馈来发现用于提取任务的文档的重要方面。这些方法的另一个好处是，它们可以可视化所使用的模型的各个方面。这种方法不同于我们的工作，因为它需要更改底层模型结构，而我们试图直接解释固定模型的隐含状态。

神经网络交互可视化 在解释机器学习模型的交互式可视化方面，Tzeng等给出了一个前馈神经网络的可视化系统，该系统具有解释的目的，Kapoor等给出了一个用户界面，用于调整学习本身。前人为实践者提供了一个通用工具，以更好地理解他们的机器学习模型及其预测。

最近的工作还描述了专注于卷积神经网络隐藏状态分析的系统。Liu等人利用DAG隐喻来展示神经元、它们的连接和学习特征。Rauber等利用投射来探索神经元与学习观察之间的关系。其他主要集中在用户界面的构建模型，例如tensorboard和卷积神经模型的相关内容在playground. tensorflow.org/。我们的工作接近于Tzeng, Liu, and Rauber，我们致力于解释神经网络模型的隐含状态。然而，我们的主要关注于RNNs和特定用户的需求，并且最终的视觉设计有明显的不同。

4 用户分析和目标

目前，深度神经网络被具有不同需求的用户广泛应用于研究和工业环境中。在开发我们的可视化工具之前，我们首先列出了一组可能得到借鉴意义的原型。在与自然语言处理组和计算生物学组的成员会面时，我们确定了三个用户角色，他们的动机，以及他们对神经网络模型的看法。图3总结了以下角色，以及他们希望掌握模型的哪些方面:

图 2 神经网络模型的不同用户角色

架构师 希望开发新的深度学习方法，或者为新的领域修改现有的深度架构。架构师感兴趣的是训练许多不同的网络结构，并比较模型如何捕获其领域的特性。我们假设架构师对机器学习、神经网络和系统内部结构有深入的了解。他们的直接目标是比较不同模型的性能和了解系统的学习特性。

训练者 他们是领域专家，他们将已知的体系结构交付感兴趣的用户。训练者利用RNNs为工具，了解网络优化的关键概念。然而，他们主要关注的是应用领域和利用有效的方法来解决已知的问题。他们的目标是使用一个已知的网络架构，并观察它如何学习一个新的模型。训练者的例子包括生物信息学家或应用机器学习工程师。

最终用户 构成了网络用户最普遍的角色。最终用户使用经过训练的通用网络完成各种任务。这些用户可能根本不需要了解培训过程，只需要知道如何将网络作为一种算法应用于新数据。他们的主要愿望是解释结果，并找出出错时发生了什么。最终用户包括使用ML的数据科学家或产品工程师。

这些用户角色是神经网络领域的通用角色，我们相信这些可以帮助描述和理解这个领域的相关群体。对于我们的分析，我们决定将重点放在更高级的一端，尤其是架构师的用户角色。我们的目标是为这些用户提供对系统内部更大的可见性。从我们的第一个原型得到的用户反馈进一步激励我们将培训师角色作为重点。在未来的工作中，我们希望开发更多的系统来吸引RNN和其他深层神经网络的最终用户。

考虑到这些角色，我们的目标是帮助训练者和架构师更好地理解深层问题:“什么信息可以找出RNN捕获隐藏的特征状态?”解决这个问题是我们项目的主要目标。基于与深度学习专家的一系列讨论，我们确定了以下领域目标:

G1 -建立一个关于属性的假设 隐含状态可能会被用来捕获特定模型。这个假设需要对隐藏的状态值有一个初步的了解，并仔细阅读最初输入。

G2 -改进假设 根据隐含状态的动态模式，基于对学习到的文本相似性的洞察，提炼假设。完善一个假说也可能意味着否定它。

G3 -比较模型和数据集 以便对表示代表信息进行早期

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[276171]，资料为PDF文档或Word文档，PDF文档可免费转换为Word