江苏体彩网|首页_江苏体彩网官方

071-15024415

在线客服| 微信关注
当前位置: 首页 > 企业新闻

深度学习教父杰弗里·辛顿的“胶囊”论文公开,带你读懂它


江苏体彩网|首页_GeoffreyHinton在人工智能领域享有很高的地位,在这个领域甚至被誉为爱因斯坦。在人工智能领域的顶尖研究者中,韩丁被提及的亲和力最低,差不多是他身后三位研究者的总和。目前,他的学生和博士后领导着苹果、Facebook和OpenAI的人工智能实验室,而韩丁本人则是GoogleBrain人工智能团队的首席科学家。

就在几个小时前,上个月,由辛顿和他的同事SaraSabour和NicholasFrosst在Google Brain共同撰写的NIPS2017论文《DynamicRoutingBetweenCapsules》向公众发表,解释了胶囊之间不同路线的自学。背景在当前的神经网络中,每一层的神经元都做类似的事情,例如,卷积层的每个神经元都做相同的卷积算子。韩丁确信,不同的神经元几乎可以关注不同的实体或属性。例如,不同的神经元在开始时关注不同的类别(而不是在最后归一化分类)。

具体来说,有些神经元注重方位,有些注重大小,有些注重方向。这类似于人脑中的语言和视觉是分开管理的,而不是集中在整个大脑中。为了防止网络结构的解体,韩丁明确提出,关注同一类别或同一属性的神经元应该像胶囊一样聚集在一起。当神经网络工作时,这些胶囊之间的路径形成了一个密集的转录树结构(整个树中只有一些胶囊被转录),这就构成了他的胶囊理论。

值得一提的是,在谷歌脑子里(但不在同一个办公室外)的JeffDean也指出,密集转录的神经网络是未来最重要的发展方向,并没有告诉他是否可以明确提出一些不同的构建方法。胶囊等网络结构符合人们“一次了解多个属性”的直观感受,但不会带来另一个直观问题,即如何训练不同的胶囊,如何让网络要求胶囊之间存在转录关系。

辛顿论文的关键问题是不同胶囊之间连接权重(路径)的自学。首先,每一层的神经元分组成不同的胶囊,每个胶囊都有一个“activityvector”,与胶囊关注的类别或属性密切相关。树结构中的每个节点对应于一个活动胶囊。

通过一个递归的路由过程,每个活动的胶囊会在更高级别的网络中自由选择一个胶囊,让它成为自己的父节点。对于高阶视觉系统来说,这种递归过程在解决如何将一个对象的部分组合成一个整体的问题上具有很大的潜力。至于网络中实体之间的密切关系,很多属性中有一个是相似的,即其频繁出现的概率(网络中频繁发现某类对象的置信度)。

一般来说,典型的方式是用0到1之间的单独的再入单位来响应,其中0不经常出现,1经常出现。在本文中,韩丁希望活动向量同时响应一个实体是否频繁出现及其属性。他的方法是用向量不同维度的值来响应不同的属性,然后用整个向量的模来响应这个实体频繁出现的概率。为了保证向量的长度,也就是实体经常出现的概率不要高达1,通过一个非线性的计算,将向量标准化,使实体的不同属性在低维空间中本质上体现在向量的方向上。

江苏体彩网

使用这样的活动载体有一个相当大的好处,即它可以帮助低级别的胶囊自由选择它们连接到哪个高级别的胶囊。具体来说,在开始时,较低级别的胶囊不会获得所有较高级别的胶囊的输出;然后,较低级别的胶囊将不会将其自身的输入添加到权重矩阵中以获得预测向量。 如果高级胶囊的预测向量和输入向量的标量积较大,可以形成自顶向下的对系统,可以提高两个胶囊之间的耦合系数,降低低级胶囊与其他高级胶囊之间的耦合系数。

经过几次递归,贡献较大的低层胶囊和接管其贡献的高层胶囊之间的联系不会占据最重要的位置。对于本文的作者来说,这种协议路由方法显然比以前的路由方法(如池路由)更有效,后者只保留了最活跃的功能之一。作者构建了一个非常简单的顶点网。

除了最后一层,网络的所有层都是卷积层,但现在都是“胶囊”层,其中矢量输入用来代替CNN的标量特征输入,一致路由用来代替仅次于汇集的第二层。和CNN类似,更高级的网络在图像中仔细观察更大的范围,但因为还是仅次于汇集,方位信息还是保留了下来。对于下层来说,空间方位的辨别只取决于转录了哪些胶囊。

这个网络底部的多维胶囊结构呈现出不同的特征。它们在传统的计算机图形中扮演着与不同元素相同的角色,每个胶囊都注重自己的一些特性。这与目前的计算机视觉任务完全不同,即把图像中空间取向不同的元素组作为一个整体来解读(或者图像中的每个区域会先转录整个网络,然后再对组进行扩展)。

底部胶囊后面连接有初级胶囊层和数字胶囊层。实验结果由于胶囊具有新的特性,本文的实验结果不仅仅是橙色Benchmark,还大量分析了胶囊带来的新特性。首先,对MNIST数据集进行数字识别。

经过三次路由递归自学,层数多得多的顶点网取得了突出的错误率。同时,根据CapsNet中的紧密相关性,作者重构了“网络指出其已识别”的图像,指出CapsNet可以准确识别图像中的细节,降低准确识别样本中的噪声(垂直线左侧)。健壮性因为网络结构的DigitCaps部分需要教授书写中旋转、笔画、风格的变化,所以对小的变化更健壮。

在用随机诽谤的MNIST数据集训练顶点网后,作者用它来识别affNIST数据集。本数据集中的样本是经过较大变动后的MNIST样本,变动后的样本如下图所示。这个顶点网必须被认为是识别影响因子的正确率为79%;只有66%的CNN用相似数量的参数进行实时训练。

分割高度重合的数字。作者将集中在MNIST数据中的数字放在一起,创建了多部门数据集,这两个数字的边界范围的平均值有80%重合。

CapsNet的识别结果低于CNN基准,但作者接下来的图形分析清晰地展示了胶囊的美。如图所示,作者将转录水平最低的两个胶囊对应的编号作为识别结果,并对识别出的图像元素进行相应的重构。对于右图中准确识别的样本(L指真实标签,R指转录水平最低的两个胶囊对应的标签),可以看出,一个识别结果中使用的特征会影响另一个识别结果,不受重叠的影响(或者可以对重叠部分的特征进行调整)。

另一方面,每个胶囊必须有足够的周围信息来反对,而不是指出重叠部分的特征必须适应。右边左图是选择一个低转录度的胶囊和一个低转录度的胶囊的结果(*R反应其中一个数字既不是真实标签也不是识别结果,l还是真实标签)。可以看出,在图(5,0)中,关注“7”的胶囊没有找到足够的“7”的特征,因此转录较弱;(1,8)由于图中没有“0”的异议特征,重叠部分在“0”的胶囊中没有第二次使用。

关于胶囊效应的辩论在论文的最后,作者们对胶囊的介绍进行了辩论。他们指出,由于胶囊具有分别处理不同属性的能力,因此相比CNN可以提高图像转换的鲁棒性,在图像分割上也不会突出。基于“图像中同一方向至少存在某一类别的一个实体”的假设,胶囊还以活动向量等独立且密切相关的方式记录某一类别实例的属性的各个方面,并且还可以通过矩阵乘法建模更好地利用空间信息。然而,对胶囊的研究才刚刚开始,它们确实是目前用于图像识别的胶囊,就像RNN在21世纪初对语音识别——的研究一样,现在才刚刚起步,未来也不会大放异彩。

目前,胶囊理论的研究还处于早期阶段,这意味着仍有许多问题需要现场研究。但是已经有更多迹象表明,Capsule可以解决一些问题,并且坚信这是一条被进一步挖掘出来的道路。

就像韩丁曾经回应《麻省理工科技评论》,“胶囊理论一定是正确的,不顺利就继续。-江苏体彩网|首页。

本文来源:江苏体彩网-www.ebiz-wiki.com

客户案例Customer case
  • 江苏体彩网官方:构建“一带一路”包容性全球价值链
  • 曝张柏芝全家人被赶下飞机是怎么回事 张柏芝与空姐争执事件始末
  • 江苏体彩网官方:“电视问政”功夫更在频道外_时事政治_中公教育网
  • 江苏体彩网|首页:用“严”和“实”撑起大业绩_时事政治_中公教育网
  • 江苏体彩网|首页_律师称河正宇借名用药也是共犯 法律上不能免责
  • 大数据防诈骗威力无穷|江苏体彩网|首页
  • 打击假货,务必拳拳有力_江苏体彩网官方
  • 英飞拓定增布局智慧城市+智能家居
  • 42名主播涉黄涉赌被封禁5年!乔碧萝卢本伟上榜:江苏体彩网|首页
  • 江苏体彩网|首页-2020江苏卫视跨年演唱会几点开始直播 明星阵容名单