↑↑↑点击上方蓝字,回复资料,10个G的惊喜
当深度学习遇上图,会碰撞出怎样的火花呢?
本文就带你来了解一下——近年来逆势而上的一门技术:图神经网络!
内容选自《图神经网络:基础与前沿(全彩)》一书!01什么是图也许我们从来没有意识到,我们正生活在一个充满图的世界。例如,我们最熟悉的社交网络(如下图所示),就是一个最典型的图。
在计算机领域,我们通常用图指代一种广义的抽象结构,用来表示一堆实体和它们之间的关系。实体被叫作图的节点,而实体和实体之间的关系构成了图的边。严格来说,一个图G={V,E}包含一个节点集合V和一个边的集合E。
以社交网络为例,用户可以作为节点,而用户和用户之间的朋友关系可以作为边。事实上,作为表示实体关系和结构化数据的一种方式,图几乎无处不在。
当我们在网上购物时,用户和产品之间的购买关系可以形成用户-产品图。
当我们在公司工作时,有公司的组织结构图。
当我们与同事或朋友发邮件、发微博交流时,则会产生交流图。
除此之外,在人工智能的研究和应用产品中,图结构的数据也占据了非常重要的地位。
在自然语言处理中常用的知识图谱,是用来表示领域知识、促进知识推理不可或缺的载体。
用于生物研究的蛋白质网络,能够表示蛋白质之间的相互作用。
在化学中,如果我们把原子看成节点,将原子间的化学键看成边,那么所有分子都是天然的图结构。
物联网传感器之间需要连接成图,共同获取监测状态。
互联网中的链接关系让所有网页形成链接图。
论文中的引用关系让所有论文形成引文图。
金融交易让交易双方形成交易图。
此类例子不胜枚举。
甚至在很多原本没有明显图的数据上,人们也发现可以利用图结构获得新的突破。
一个典型的例子是文本摘要中利用句子之间的相似性构建的图,对早期文档摘要领域做出了巨大的贡献。
在定理证明中,逻辑表达式可以表示成由变量和操作构成的图。
同样地,程序也可以表示成由变量构成的图,用来判断正确性;在多智能体(Multi-agent)系统中,agent之间的隐性交互也被当作图来处理。
02深度学习与图毫无疑问,深度学习正在成为人类实现人工智能最重要的工具。
在当前时代,在大量数据和超强计算资源的推动下,深度学习强大的表征能力使其在各个应用领域(自然语言处理、计算机视觉、计算机语音等)有了突破性的进展。
时至今日,在人工智能各种任务的排行榜上,我们已经很难找到非深度学习的最优模型了。
然而,大部分传统深度学习模型,如卷积神经网络(ConvolutionalNeuralNetworks,CNN)、循环神经网络(RecurrentNeuralNetworks,RNN)等,处理的数据都限定在欧几里得空间,如二维的网格数据—图像和一维的序列数据—文本,因为它们的模型设计正得益于欧几里得空间中这些数据的一些性质:例如,平移不变性和局部可联通性。图数据不像图像和文本一样具有规则的欧几里得空间结构,因此这些模型无法直接应用到图数据上。
图数据的特殊性质以卷积神经网络为例,我们通过对比网格数据和图数据(如下图所示)来说明为什么它不能直接用在图上。
1.节点的不均匀分布
在网格数据中,每个节点(不包含边缘节点)只有4个邻接点,因此我们可以很方便地在一个网格数据的每个小区域中定义均匀的卷积操作。而在图结构中,节点的度数可以任意变化,每个邻域中的节点数都可能不一样,我们没有办法直接把卷积操作复制到图上。
2.排列不变性
当我们任意变换两个节点在图结构中的空间位置时,整个图的结构是不变的。如果用邻接矩阵表示图,调换邻接矩阵的两行,则图的最终表示应该是不变的。在网格中,例如在图像上,如果我们变换两行像素,则图像的结构会明显变化。因此,我们没有办法像处理图像一样直接用卷积神经网络处理图的邻接矩阵,因为这样得到的表示不具有排列不变性。
3.边的额外属性
大部分图结构上的边并非只能取值二元的{0,1},因为实体和实体的关系不仅仅是有和没有,在很多情况下,我们希望了解这些实体关系连接的强度或者类型。强度对应到边的权重,而类型则对应到边的属性。显然,在网格中,边是没有任何属性和权重的,而卷积神经网络也没有可以处理边的属性的机制。
将深度学习扩展到图上的挑战由于图结构的普遍性,将深度学习扩展到图结构上的研究得到了越来越多的