点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入！
栾思焘：
麦吉尔大学&Mila博士生，研究方向为图神经网络和图表示学习
01
同配(Homophily) v.s. 异配(Heterophily)
近几年实验发现，在很多图上做节点分类的时候，图神经网络(GNNs)并不比传统的神经网络(NNs)表现更好，甚至会有很严重的性能下降。人们普遍认为这是图的异配(heterophily)问题导致的，也就是存在太多类间的边(inter-class edges)，导致在聚合(aggregation)之后，不同类之间的节点的特征会混合在一起，从而变得无法被区分。于是人们定义了几个不同的指标去衡量图的同配性(homophily) ，如果数值高，表示图的类内的边(inner-class edges)相对更多，那么暗示GNNs在这个图上会比NNs表现得更好；反之如果数值低，那么意味着这是个异配图，GNNs会比NNs表现得更差，也就是图结构提供的信息反而起了副作用(harmful).
但是我们发现(同配/异配)并不能完全解释图网络的性能下降，因为它只描述了图结构(也就是边)与标签的一致性(graph-label consistency)，但是失去这种一致性也不一定意味着聚合之后节点的特征会变得无法区分，例如下面这个二分图的例子：在聚合之后，类1和类2的点只是交换了颜色而并没有变得无法区分。
02
重新思考同配和异配
为了更全面地跟现有的同配指标进行比较，我们生成了不同的同配等级的图结构，在上面训练GCN[2]和SGC[1]，并且画出GNNs的表现与同配指标的关系图。对于一个更informative的指标，GNNs的表现应该跟指标有单调递增的关系，即指标越高说明GNNs会表现的越好，指标越低应该说明GNN会表现越差。我们发现在现有常用的指标下，曲线都是U型的，但是在聚合同配的图中，曲线是单调的，因此这验证了聚合同配的优越性。
03
重新看待高通滤波器对异配的有效性
高通滤波器(high-pass filter)在实际应用中被发现对于提取一些异配图中的信息是有帮助的，我们根据上面提出的相似性矩阵来分析高通滤波器的作用。
04
自适应信道混合机制(Adaptive Channel Mixing)
上面的例子说明对于某些节点，聚合(低通滤波器)不能使节点变得更加有区分度，但是高通滤波可以。于是为了提升GNNs在异配图上的表现，我们提出在GNNs的每一层都要包含低通，高通和恒等(Identity也即全通滤波器，具体原因请看文章)信道(channel)而不仅仅只有单一的低通信道(uni-channel,大部分GNNs都是uni-channel的)。同时，在实际应用中，每个节点的异配分布都是非常不相同的(如下图),而且每个节点对于各个信道的需求是不一样的，例如在上面的例子中，节点1，3更需要高通信道提取的特征，而节点2更需要低通信道的特征，于是我们又提出了一个逐节点信道混合机制(node-wise channel mixing mechanism)，可以自适应的为每个节点学习如何混合信道提取的特征。
基于以上提出的两点，我们设计了自适应信道混合框架(Adaptive Channel Mixing or ACM framework),大部分baseline GNNs都可以很容易的放到我们的框架中，下面以GCN为例介绍ACM-GCN。
下图的t-SNE可视化可以很直观的展示ACM-GCN相较于GCN的优势，我们增加的高通和恒等信道可以提取到一些肉眼可见的模式(pattern),而这些模式是低通信道捕捉不到的。
05
实验结果
我们可以看到三个基准模型GCN, snowball-2, snowball-3在ACM framework下都得到了非常显著的提升，并且在benchmark datasets上都超过了SOTA。这说明ACM可以显著提升baseline GNNs在异配图上的表现。具体实验结果以及模型结构请看文章。
Remark: 我们的主要目的不是刷SOTA或者设计一个拥有高表达能力(expressive power)的滤波器(filter)，而是想说当给定一个拥有某种表达能力的GNN时，我们可以很容易的将它扩展并且在同配和异配图上都能表现得非常好，而且这种扩展不需要更多额外的全局(global)或者多跳(multi-hop)信息，只需要提取局部(localized)信息即可。
To the community: 你觉得我们现在是否需要专门针对heterophilic graph的leaderboard，例如在OGB中单独加一类node classification on heterophilic graphs， 请在下面评论区告诉我 。另外我在papers with code里建了一个leaderboard，朋友们可以在这里刷榜或者创建你自己数据集的榜单。
另外，可以私信跟我讨论或者通过 Email: [email protected]; Twitter: @SitaoLuan
References:
[1] Wu, F., Souza, A., Zhang, T., Fifty, C., Yu, T., & Weinberger, K. (2019, May). Simplifying graph convolutional networks. InInternational conference on machine learning(pp. 6861-6871). PMLR.
[2] Kipf, T. N., & Welling, M. (2016). Semi-supervised classification with graph convolutional networks.arXiv preprint arXiv:1609.02907.
提
醒
点击“阅读原文”跳转到03:01可以查看回放哦！
往期精彩文章推荐
记得关注我们呀！每天都有新知识！
关于AI TIME
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
迄今为止，AI TIME已经邀请了1000多位海内外讲者，举办了逾500场活动，超500万人次观看。
我知道你
在看
哦
~
点击 阅读原文 查看回放！