微软提出深度学习新架构：使用问答系统来得到语法上可解释的表征

2017-05-25 15:34:56 来源：机器之心热度:

近日，微软公布的一篇新论文提出了一种新架构，它的内部表征（在执行文本问答任务时通过端到端的优化来学习的表征）可以用语言学理论的基本概念来解释。这篇论文的作者之一邓力目前已经离开了微软，加入了对冲基金巨头 Citadel 任首席人工智能科学家。

论文内容：

我们介绍了一种新架构，它的内部表征（在深度学习网络中通过执行文本问答任务来端到端优化而学习到的表征）可以用语言学理论的基本概念来解释。这种可解释性相对于新的基于原模型的准确度只有几个点的降低（BiDAF[1]）。被解释的内部表征是张量积表示（Tensor Product Representation）：对于每个输入词，模型选择一个符号来对词进行编码，一个放置符号的角色（role），然后将它们绑定起来。这种选择是通过软注意（soft attention）模型实现的，总体的解释是由符号的解释所构建的，与训练模型利用的一样，模型也利用对角色的解释。

我们发现了对初始假设的支持，即符号可以被解释为词汇-语义词义（lexical-semantic word meanings），而角色可被解释为对语法角色（或类别）的近似，例如主语、问词、限定词等。通过非常详细的、细粒度的分析，我们发现了在学习到的角色和又标准解析器 [2] 分配的词性之间的特定对应关系，并且在模型的帮助下找到了几个差异。在这个意义上，该模型可以在仅有无语言学相关注释的文本、问题和答案的情况下学习到语法的重要方面：模型没有先验的语言学知识。该模型仅有使用符号和角色来进行表征的方式和以一种大致离散的方式有利于这种使用的归纳偏置。

责任编辑：黄焱林

微软深度学习架构

相关推荐

微软：ARM版Win8将同时发布可运行Office

2月10日消息，据AllThingsD报道，微软Windows部门总裁史蒂芬·西诺夫斯基（StevenSinofsky）接受采访时称，第一款运行Windows8的ARM架构芯片产品，会与运行Windows8的传统英特尔和AMD芯片电脑同时推出。西诺夫斯基还表示，ARM产品上的Windows系统将携带多个Office应用程序，包括Word、PowerPoint、Excel和OneNote，不过这些软件都进行了修改，以非常节约电力的方式运行。但西诺夫斯基称，虽然这些应用软件可运行在传统的Windows桌面上，但除了Windows本身的组件外，只有这些软件可被允许运行在ARM设备上上。西诺夫斯基对A

微软和苹果桌面斗法频临分道扬镳

微软和苹果开始在桌面之争中走向不同的短点微软和苹果的桌面之争一直处于胶着状态，并且近期都透出了最新桌面操作平台的最新消息。苹果已与日前发布了最新的OSX10.8(代码名MountainLion)的开发者预览版操作平台，而微软也已经公布了其上市Windows8消费者预览版的计划，或将于本月底的MWC2012上正式发布。从两家移动操作平台的不同走势来看，微软和苹果开始在桌面之争中走向不同的短点。微软Windows桌面的移动化

微软为开发者提供Windows 8的ARM平板和PC

国外媒体报道，微软开始让开发者试用Windows8的ARM产品。微软将向部分开发者和多家公司开放基于ARM处理器的平板电脑和PC的Windows8。这些开发者拿到了的这些平板电脑和PC基于高通SnapdragonS4和Nvidia4核Tegra3处理器，都是基于ARM架构并且包括了LTE4G技术。这些设备将让开发者全体验Windows8和ARM组合，同时有机会在此系统组合下开发应用。高通称已经向开发者发放了基于ARM并且使用Windows8的PC，微软则向其软件开发者提供了基于Tegra3的平板电脑。

微软下周一开发布会或重在ARM版Win8设备

6月15日消息，微软将于下周一召开发布会，将有重大产品宣布，会议地点在旧金山。微软已经向媒体发出邀请函，会议在下午召开，不过微软没有透露会议具体地点，要到下周一上午才能知道。在邮件中，微软说：“这将是微软重要产品发布会，你不会错过的。”微软拒绝进一步置评。从发布会地点来看，它可能与娱乐产业有关。最近几个月，微软向Xbox360视频游戏机推出更多的电视节目。Netflix已经向Xbox提供节目，公司CEO也进了微软董事会。微软还准备推出新Windows8操作系统，它同时在笔记本、平板、电脑、电视上运行。而据AllThingsD报道称，微软会推出基于ARM平台的Windows8平板电脑。还会展示一