最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 为什么不会过平滑?全连接图意味着是怎么回事?

    Graph ML 已经过去了一年:成千上万的论文,无数的会议和研讨会,如何跟上这么多很酷的进步?

    本文提供了 Graph ML 的结构化分析,重点介绍了热门趋势和主要进展。

    图形转换器 + 位置特征

    虽然 GNN 通常在稀疏图上运行,但图转换器 (GT) 在全连接图上运行,其中每个节点都连接到图中的每个其他节点。一方面,这给节点 N 的数量带来了 O(N²) 的复杂度。另一方面,GT 不会受到过度平滑的影响基于稀疏表示与字典学习的图像去噪算法研究,这是远程消息传递的常见问题。(为什么不过度平滑?)

    全连接图意味着我们有来自原始图的“真”边和从全连接变换中添加的“假”边,我们想要区分它们。更重要的是,我们需要一种方法将一些位置特征注入到节点中,否则 GT 会落后于 GNN(如 Dwivedi 和 Bresson 的 2020 年论文所示)。今年最引人注目的两个 Graph Transformer 可能是 SAN(Spectral Attention Nets)和 Graformer。

    Graformer 完成 2021 Graph ML Grand Slam: OGB Large Scale Challenge 和 Open Catalyst Challenge 的图回归任务第一名!

    开放式问题:可扩展性和计算开销。SAN 和 Graformer 在图相当小(平均 50-100 个节点)的分子任务上进行评估,例如,我们有能力运行 O(N³) Floyd-Warshall 所有对最短路径。此外,Graph Transformers 仍然受到 O(N²) 注意力机制的限制。不接受大图像。你刚想到“NLP 中的线性变换器”吗?是的,他们可能会伸出援助之手,但由于它没有实现注意力矩阵,因此需要找到一种将边缘特征放入此类模型的巧妙方法。当然,我们会在 2022 年看到更多这方面的研究!

    等变 GNN

    Geoffrey Hinton 承认它的酷对等有何独特之处?

    一般来说,等方差是在某些变换组上定义的,例如,3D 旋转形成 SO(3) 组,3D 特殊正交组。等方差模型在 2021 年席卷 ML,而在 Graph ML 中,它尤其具有破坏性在许多分子任务中。应用于分子,等变 GNN 需要额外输入节点特征 – 即将在 n 维空间中旋转/反射/平移的分子物理坐标的某些表示。

    使用等变模型,尽管转换顺序不同,我们仍会达到相同的最终状态。

    Satorras、Hoogeboom 和 Welling 提出了 EGNN,E(n) 等变 GNN,它与普通 GNN 的不同之处在于在消息传递和更新步骤中添加了物理坐标。等式 3 将相对平方距离添加到消息 m,等式。4 更新定位功能。EGNN 在建模 n 体系统、作为自动编码器和量子化学任务(QM9 数据集)方面显示出令人印象深刻的结果。

    与普通 GNN 的重要区别:等式 3 和 4 将物理坐标添加到消息传递和更新步骤中。

    另一种选择是结合原子之间的角度。这可能需要将输入图转换为线性图,其中来自原始图的边成为线性图中的节点。这样基于稀疏表示与字典学习的图像去噪算法研究,我们可以将角度用作新图中的边缘特征。

    分子的生成模型

    得益于几何深度学习,整个药物发现 (DD) 领域将在 2021 年获得显着提升。DD 的许多关键挑战之一是生成具有所需属性的分子(图)。领域很大,所以我们只突出模型的三个分支。

    Mila 和由 Yoshua Bengio 领导的斯坦福研究人员团队提出了一个更通用的框架,他们引入了生成流网络 (GFlowNets)。几句话很难一概而论——首先,当我们想要对不同的候选者进行采样时,GFlowNets 可以用于主动学习案例,并且采样概率与奖励函数成正比。此外,他们最近的 NeurIPS’21 论文展示了 GFlowNets 应用于分子生成任务的好处。

    GNN + 组合优化和算法

    2021 年对于这个新兴子领域来说是重要的一年!在他们出色的 ICLR’21 论文中,Xu 等人。研究了神经网络的外推并产生了几个惊人的结果。使用算法对齐的概念,作者表明 GNN 与动态规划 (DP) 很好地对齐(参见插图)。事实上,比较经典的 Bellman-Ford 算法的迭代以找到最短路径以及通过 GNN 的消息的聚合组合步骤 – 你会发现很多共同点。此外,作者表明,在对特定的 DP 算法进行建模时,为 GNN 选择合适的聚合函数至关重要,例如对于 Bellman-Ford,我们需要一个最小聚合器。

    为了更全面地介绍该领域,我想强调 Cappart 等人的全面调查。在 IJCAI’21 上,涵盖了组合优化中的 GNN。本文首次出现在神经算法推理蓝图上。

    蓝图解释了神经网络如何模拟和授权在嵌入空间中执行通常离散的算法。在编码-处理-解码方法中,抽象输入(从自然输入获得)由神经网络(处理器)处理,其输出被解码为抽象输出,然后可以映射到更自然的任务特定输出。例如,如果抽象输入和输出可以表示为图,那么 GNN 可以是处理器网络。离散算法的一个常见预处理步骤是将我们对问题的理解压缩为“距离”或“边缘容量”等标量,并在这些标量上运行算法。相反,向量表示和神经执行可以轻松实现高维输入,而不是简单的标量,

    子图 GNN:超越 1-WL

    如果 2020 年是第一次尝试离开 GNN 富有表现力的 1-WL-landia 的一年,那么我们可以确认 2021 年是与 1WL-landia 之外的外星人建立牢固联系的一年。

    如果您想真正深入了解 WL 的最新研究,请查看由 Christopher Morris、Yaron Lipman、Haggai Maron 和合著者撰写的最新调查 Weisfeiler 和 Leman go Machine Learning: The Story so far。

    可扩展性和深度 GNN:100 层及更多

    如果您在使用 2-4 层 GNN 时嫉妒深度 ResNet 或 100 层以上的大型 Transformer,那么是时候欢呼了!2021 年为我们带来了 2 篇关于随机训练具有 100-1000 层的 GNN 的论文,以及一篇关于几乎恒定大小的邻域采样的工作。李等人。提出了两种机制,在训练极深的超参数化网络时,将 GPU 内存消耗从 L 层的 O(L) 显着降低到 O(1)。作者展示了如何使用 1️⃣ 可逆层已在 CV 或高效的 Transformer 架构,如 Reformer; 2️⃣ 层之间共享权重(权重绑定)。然后可以训练多达 1000 层的 GNN。下图显示了对 GPU 要求中等的层数不断扩展。

    戈德温等人。介绍了一种使用循环学习深度 GNN 的方法——消息传递步骤按块组织,每个块可以有 M 个消息传递层。然后,在一个循环中应用 N 个块,这意味着块共享权重。如果你有 10 个消息层和 10 个块,你将得到一个 100 层的 GNN。一个重要的组成部分是噪声节点正则化技术,它扰乱节点和边缘特征并计算额外的去噪损失。该架构适合更好的分子任务,并在 QM9 和 OpenCatalyst20 数据集上进行了评估。

    最后,如果我们想将任意 GNN 扩展到非常大的图,我们别无选择,只能对子图进行采样。通常,对 k-hop 子图进行采样会产生指数内存成本和计算图大小。

    PyG 的作者 Matthias Fey 等人创建了 GNNAutoScale,这是一个恒定时间扩展,它利用了 GNN 的历史嵌入(先前消息传递步骤中缓存的一个奇特版本)和图聚类(在这种情况下是著名的 METIS 算法)框架。在预处理过程中,我们将图划分为 B 个集群(小批量),以最小化集群之间的连通性。然后,我们可以在这些集群上运行消息传递,以跟踪缓存中更新的节点功能。在实验上,用于深度网络(最多 64 层)的 GNNAutoScale 的性能与完整的批量设置一样好,但显着降低了内存需求(约小 50 倍)——因此您可以在商品 GPU 和大图上安装深度 GNN

    知识图谱

    KGs 上的表征学习终于打破了转导天花板。在 2021 年之前,模型被明确分为转导和归纳,具有不同的归纳偏差、架构和训练机制。换句话说,转导模型没有机会适应看不见的实体,而归纳模型在大中型图上训练成本太高。2021 年带来两种架构

    Galkin 等人的另一种方法。(免责声明:本文的作者之一是该论文的作者)受到 NLP 中的标记化算法的启发,该算法具有固定的标记词汇表,能够标记任何单词,即使是在训练期间出现在 Unseen word times 中的单词。应用于 KG,NodePiece 将每个节点表示为一组前 k 个最近的锚节点(可选地在预处理步骤中采样)和 m 个节点周围的唯一关系类型。锚点和关系类型被编码为节点表示,可用于任何下游任务(分类、链接预测、关系预测等)和任何归纳/转导设置。NodePiece 特征可以直接被 RotatE 等非参数解码器使用,也可以发送到 GNN 进行消息传递。

    使用 GNN 进行一般酷的研究

    本节提到了一些使用 GNN 但不属于特定类别的特别酷的作品。黄,何,等。在 ICLR’21 Correct & Smooth 上发表——一个通过标签传播改进模型预测的简单程序。仅与 MLP 一起使用,此方法在不使用任何 GNN 且参数少得多的情况下以最高分进入 OGB 排行榜!如今,几乎所有 OGB 节点分类赛道的顶级模型都使用 Correct & Smooth 来挤压更多的分数。

    Knyazev 等人在 11 月震惊了 ML 社区,他们的工作在一次前向传播中预测了各种神经网络架构的参数。也就是说,不是随机初始化模型,而是可以立即预测好的参数,这样的模型已经比随机模型好很多。当然,如果你用 n 个 SGD 步骤优化一个随机初始化的网络,你会得到更高的数字,但本文的一个主要贡献是,通常可以在不训练这个特定架构的情况下找到合适的参数。参数预测实际上是一个图学习任务——任何神经网络架构(ResNet、ViT、Transformers,你可以命名它)都可以表示为计算图,其中节点是具有可学习参数的模块,节点特征是那些参数,我们有一堆节点类型(例如,线性层、卷积层、批范数,作者使用了大约 15 种节点类型)。参数预测是一个节点回归任务。计算图使用 GatedGNN 进行编码,并将其新表示发送到解码器模块。为了训练,作者收集了一个包含 1M 架构(图表)的新数据集。这种方法适用于任何神经网络架构,甚至适用于其他 GNN!

    DeepMind 和谷歌通过将道路网络建模为超分割图并在其上应用 GNN,极大地提高了谷歌地图中 ETA 的质量。在 Pinion 等人的论文中,任务被定义为节点级和图级回归。除此之外,作者还描述了一些需要解决的工程挑战,以便在 Google 地图规模上部署系统。应用 GNN 解决数百万用户面临的实际问题的完美示例!

    Transgene 和 NEC 最近宣布了 GNN 在癌症研究中的另一个潜在影响应用。根据 NEC 首席研究员 Mathias Niepert 的说法,GNN 用于通过嵌入传播(参见最近关于这种方法的 Twitter 帖子)来估算缺失的患者数据,以及对候选肽进行评分以引发免疫反应。最后,戴维斯等人。DeepMind 最近使用 GNN 来帮助制定与核心数学问题(关于他们工作中的结)相关的猜想,并且确实发现并证明了一个新定理!你看,GNN 也可以处理非常抽象的事情

    新数据集、挑战和任务

    如果您厌倦了 Cora、Citeseer 和 Pubmed – 我们会感觉到您。2021 年带来了大量不同大小和特征的新数据集。

    课程和书籍

    新的和值得注意的课程和书籍:

    图书馆和开源

    2021 年发布的新库:

    原文链接:

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 为什么不会过平滑?全连接图意味着是怎么回事?

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论