Graph Contrastive Learning via Interventional View Generation

发表于:WWW24
推荐指数: #paper/⭐⭐

框架与动机:

整体框架

文章配图

动机:

文章配图
如上四个:
b.HLCL 生成随机增强视图,并分别用高通过滤器和低通过滤器过滤
c.生成同配异配视图,都用低通过滤器
d.生成同配视图异配视图,同配视图用低通过滤器,异配视图用高通过滤器
通过图d,我们可以得出:d>c>b>a

流程:

1.视图生成模块
2.双对比学习编码模块.

具体流程

因果模型

我们利用反事实因果干涉取找到干涉和结果的因果关系通过问一个问题:图结构会因为干涉变得困难而改变吗?我们假设我们观测到的关系如图三所示,给定环境条件,我们干涉,和相应的输出,反事实干涉方法目标去找到影响结果的干涉.这里,节点 v i v_{i} vi v j v_{j} vj的信息是条件,表示为: ( z i , z j ) (z_{i},z_{j}) (zi,zj).我们表示被观测得到的邻接矩阵 A A A的值作为事实结果输出,并用 A C F A^{CF} ACF表示未观测到的矩阵作为反事实结果.我们表示二元干涉矩阵为: T ∈ { 0 , 1 } n × n T \in\{0,1\}^{n \times n} T{0,1}n×n.其意为对节点对 ( v i , v j ) (v_{i},v_{j}) (vi,vj)的干涉.相应的,反事实干涉矩阵可以表示为: T C F T^{CF} TCF,其中, T i j C F = 1 − T T_{ij}^{CF}=1-T TijCF=1T
文章配图

可训练的变量

我们定义干涉 T i j T_{ij} Tij为节点 v i , v j v_{i},v_{j} vi,vj的同配性. T i j = 1 T_{ij}=1 Tij=1,表示ij两个点是相似的.我们定义 c : V → N c:V\to N c:VNb表示为一个划分策略依赖于节点环境信息.我们认为同配比是两个节点有相同的划分.即: T i j = 1 if  c ( v i ) = c ( v j ) T_{ij}=1 \text{ if }c(v_{i})=c(v_{j}) Tij=1 if c(vi)=c(vj).

反事实结果

由于对每一个节点对,我们只能观测事实干涉和相应的结果.节点对使用反干涉的关系是未知的.因此,我们将反事实结果通过最近的观测环境(条件)去估计.即:给定观测到的节点对集,我们的目标是找到他们的最近邻居通过反干涉,视他们为反事实节点对.每个节点对,我们可以定义反事实关系为:
( v a , v b ) = arg ⁡ max ⁡ v a , v b ∈ V [ s ( ( v i , v j ) , ( v a , v b ) ) ∣ T a b = 1 − T i j ] (v_a,v_b)=\arg\max_{v_a,v_b\in\mathcal{V}}\left[s((v_i,v_j),(v_a,v_b))|T_{ab}=1-T_{ij}\right] (va,vb)=argva,vbVmax[s((vi,vj),(va,vb))Tab=1Tij]
其中s是环境的相似性测量.最终,我们引导节点比较去实现环境比较.即:我们评估每对结点的反事实结果为:
( v a , v b ) = arg ⁡ max ⁡ v a , v b ∈ V [ s ( x ~ i , x ~ a ) + s ( x ~ j , x ~ b ) ∣ T a b = 1 − T i j ] , (v_a,v_b)=\arg\max_{v_a,v_b\in V}[s(\tilde{\mathbf{x}}_i,\tilde{\mathbf{x}}_a)+s(\tilde{\mathbf{x}}_j,\tilde{\mathbf{x}}_b)\mid T_{ab}=1-T_{ij}], (va,vb)=argva,vbVmax[s(x~i,x~a)+s(x~j,x~b)Tab=1Tij],
具体的是,s是相似性函数,节点嵌入 X ~ \tilde{X} X~通过拼接节点原始特征和他们的结构特征(通过node2vec)得到.这会更少的被同配性所影响.
最终,我们得到反事实干干涉结果 A C F A^{CF} ACF
A i j C F = { A a b , if  ∃ ( v a , v b ) ∈ V × V satisfies Eq. (6); A i j , otherwise. A_{ij}^{CF}=\begin{cases}A_{ab}&\text{, if }\exists(v_a,v_b)\in\mathcal{V}\times\mathcal{V}\text{ satisfies Eq. (6);}\\A_{ij}&\text{, otherwise.}\end{cases} AijCF={AabAij, if (va,vb)V×V satisfies Eq. (6);, otherwise.

干涉视图生成

通过干涉和反事实结果的引导,我们现在可以学习到干涉视图生成器.这可以通过可训练干涉变量去控制生成增强图.给定表征Z通过GCL Encoder以及干涉指示器 T T T/ T C F T^{CF} TCF,我们可以生成同配干涉视图 A ^ \hat{A} A^以及异配干涉视图: A ^ C F \hat{A}^{CF} A^CF
A ^ = g θ ( Z , T ) , A ^ C F = g θ ( Z , T C F ) , \widehat{A}=g_\theta(Z,T),\quad\widehat{A}^{CF}=g_\theta(Z,T^{CF}), A =gθ(Z,T),A CF=gθ(Z,TCF),
g θ g_{\theta} gθ表示视图生成器.我们通过经验采用了一个简单的鹅多层感知机:
A i j ^ = M L P θ ( [ z i ⊙ z j , T i j ] ) , A ^ i j C F = M L P θ ( [ z i ⊙ z j , T i j C F ] ) \widehat{A_{ij}}=\mathsf{MLP}_\theta([\mathbf{z}_i\odot\mathbf{z}_j,T_{ij}]),\quad\widehat{A}_{ij}^{CF}=\mathsf{MLP}_\theta([\mathbf{z}_i\odot\mathbf{z}_j,T_{ij}^{CF}]) Aij =MLPθ([zizj,Tij]),A ijCF=MLPθ([zizj,TijCF])
其中, ⊙ \odot 表示hadamard积, [ ⋅ , ⋅ ] [\cdot,\cdot] [,]表示向量拼接.A内元素的范围都在[0,1]之间. A i j ^ → 1 \hat{A_{ij}}\to 1 Aij^1表示很强的同配性, A i j C F ^ → 1 \hat{A_{ij}^{CF}}\to 1 AijCF^1表示很强的异配性

高通低通滤波器

低通滤波器:
Z l h o m o = A ~ Z l − 1 h o m o W l − 1 l o w , a n d Z 0 h o m o = X Z_l^{\boldsymbol{homo}}=\tilde{A} Z_{\boldsymbol{l}-1}^{\boldsymbol{homo}} W_{\boldsymbol{l}-1}^{\boldsymbol{low}},\quad\mathrm{and} Z_0^{\boldsymbol{homo}}=X Zlhomo=A~Zl1homoWl1low,andZ0homo=X
即: Z h o m o = f ϕ l o w ( X , A ^ ) Z^{\boldsymbol{homo}}=f_{\phi}^{\boldsymbol{low}}(X,\widehat{A}) Zhomo=fϕlow(X,A )
高通滤波器:
Z l h e t e r = ( I − α A ~ C F ) Z l − 1 h e t e r W l − 1 h i g h , a n d Z 0 h e t e r = X Z_{l}^{\boldsymbol{heter}}=(I-\alpha\tilde{A}^{\boldsymbol{CF}}) Z_{\boldsymbol{l-1}}^{\boldsymbol{heter}} W_{\boldsymbol{l-1}}^{\boldsymbol{high}},\quad\mathrm{and} Z_{0}^{\boldsymbol{heter}}=X Zlheter=(IαA~CF)Zl1heterWl1high,andZ0heter=X
其中, A ~ C F \tilde{A}^{CF} A~CF即为正则化的 A ^ C F \hat{A}^{CF} A^CF, α \alpha α是平衡超参.

视图生成优化

主要分为两个部分:视图损失最小化,以及同配比异配比和为1
L F = E i , j ∼ V [ A i j ⋅ log ⁡ A ^ i j + ( 1 − A i j ) ⋅ log ⁡ ( 1 − A ^ i j ) ] , \mathcal{L}_{F}=\mathbb{E}_{i,j\thicksim\mathcal{V}}\big[A_{ij}\cdot\log\widehat{A}_{ij}+(1-A_{ij})\cdot\log(1-\widehat{A}_{ij})\big], LF=Ei,jV[AijlogA ij+(1Aij)log(1A ij)], L C F = E i , j ∼ V [ A i j C F ⋅ log ⁡ A ^ i j C F + ( 1 − A i j C F ) ⋅ log ⁡ ( 1 − A ^ i j C F ) ] . \mathcal{L}_{CF}=\mathbb{E}_{i,j\thicksim\mathcal{V}}\big[A_{ij}^{CF}\cdot\log\widehat{A}_{ij}^{CF}+(1-A_{ij}^{CF})\cdot\log(1-\widehat{A}_{ij}^{CF})\big]. LCF=Ei,jV[AijCFlogA ijCF+(1AijCF)log(1A ijCF)].
L r e g = E i , j ∼ V ∣ ∣ 1 − A ^ i j − A ^ i j C F ∣ ∣ \mathcal{L}_{\mathrm{reg}}=\mathbb{E}_{i,j\thicksim\mathcal{V}}||1-\widehat{A}_{ij}-\widehat{A}_{ij}^{CF}|| Lreg=Ei,jV∣∣1A ijA ijCF∣∣
最终,视图生成器 g θ g_{\theta} gθ的优化可以写为:

min ⁡ θ L F + L C F + L r e g . \min_\theta\mathcal{L}_F+\mathcal{L}_{CF}+\mathcal{L}_{\mathrm{reg}}. minθLF+LCF+Lreg.

对比损失:

min ⁡ ϕ , ψ E i ∼ V , j ∈ N i ′ [ L G C L ( z i h e t e r , z j h o m o ) + L G C L ( z i h o m o , z j h e t e r ) ] \min_{\phi,\psi}\mathbb{E}_{i\thicksim\mathcal{V},j\in N_i^{\prime}}[\mathcal{L}_{\mathrm{GCL}}(\mathbf{z}_i^{heter},\mathbf{z}_j^{homo})+\mathcal{L}_{\mathrm{GCL}}(\mathbf{z}_i^{homo},\mathbf{z}_j^{heter})] ϕ,ψminEiV,jNi[LGCL(ziheter,zjhomo)+LGCL(zihomo,zjheter)]

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/3281590.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

基于Material studio拉伸-断裂过程的Perl脚本

在材料科学的研究中,拉伸-断裂过程一直是科学家们探索的焦点。这一过程涉及复杂的力学行为和材料内部微观结构的变化,对于理解材料的性能至关重要。然而,传统的实验方法不仅耗时耗力,而且难以捕捉到微观尺度上的所有细节。 为了满…

网站如何实现HTTPS访问

要实现网站通过HTTPS协议访问,主要依赖于为网站部署SSL/TLS证书。 SSL(Secure Sockets Layer)是用于在互联网上加密数据传输的安全协议。部署了SSL证书之后,网站就可以通过HTTPS(超文本传输安全协议)来提供…

C# Unity 面向对象补全计划 之 初识继承方法与多态

本文仅作学习笔记与交流,不作任何商业用途,作者能力有限,如有不足还请斧正 本系列旨在通过补全学习之后,给出任意类图都能实现并做到逻辑上严丝合缝 1.继承方法 C# & Unity 面向对象补全计划 之 继承(字段与属性&…

Java真人版猫爪老鼠活动报名平台系统

🐾“真人版猫爪老鼠活动报名平台系统”——趣味追逐,等你来战!🐭 🐱【萌宠变主角,现实版趣味游戏】 厌倦了电子屏幕的虚拟游戏?来试试“真人版猫爪老鼠活动”吧!在这个平台上&…

PHP进阶-CentOS7部署LNMP服务架构的项目

在开发和部署Web应用时,LNMP(Linux、Nginx、MySQL、PHP)的组合是非常常见的。这篇博客将介绍如何通过一个简单的脚本,在CentOS 7上部署LNMP,并将PHP项目自动部署到服务器上。这不仅可以节省大量的时间,还能…

一个接口未做超时处理,引发数据库hang了

前言 在代码开发过程中,你是否会经常遇到以下问题? 数据库连接被瞬间占用,出现性能瓶颈 系统资源被大量占用,出现锁等待或性能下降 事务日志大量增长 上述这些状况的出现可能是未提交事务引发的。该类事务开启后,…

什么是五力分析?5分钟带你了解它在企业财务经营中的应用与价值!

如今,随着全球化进程的不断加速,市场环境复杂多变,市场竞争日益激烈,财务经营已经成为了企业应对复杂市场环境、保持自身竞争力的关键。体系化的五力分析平台能够为企业提供一套全面的解决方案,帮助企业在盈利能力、偿…

【随机链表的复制】python刷题记录

R3-哈希表 参考k神题解 哈希表法: """ # Definition for a Node. class Node:def __init__(self, x: int, next: Node None, random: Node None):self.val int(x)self.next nextself.random random """class Solution:def copy…

Java红娘相亲交友平台系统源码小程序

💕遇见真爱,从“红娘相亲交友平台系统”开始!👫 🌹【精准匹配,缘分不再擦肩而过】 还在为茫茫人海中找不到那个TA而烦恼吗?“红娘相亲交友平台系统”利用先进的大数据分析技术,根据…

电脑怎么压缩图片?6个简单实用的压缩方法分享(无损压缩)

电脑怎么压缩图片?面对电脑较大的图片,小编是建议大家进行压缩的。文件过大容易影响电脑存储空间,而且还不容易上传和传输。图片压缩有很多方法可以有效解决,简单几步就能将图片压缩变小,下面是相关的介绍,…

web期末大作业家乡-浙江

代码下载: https://pan.quark.cn/s/2e157769c4ad

android动态权限申请并告知权限申请的使用目的

随着工信部对APP的一系列整治,现在要求APP在申请相机、位置等敏感权限时需要向用户同步告知权限申请的使用目的。个大应用市场在APP上线审核中也会重点检查这项要求。 从Android 6.0开始,对于敏感权限的获取,APP需要调用系统提供的动态申请权…

借银行的贷款去还网贷,可以吗?

近日,有很多网友问我,他们申请的公积金贷款,能不能用这笔钱来还清信用卡和网贷,但又怕这么做会违法,或者银行会突然要求他提前还贷。 首先,放心,这么做不违法。但银行确实不太鼓励这么用贷款&am…

【扒模块】DFF

图 医学图像分割任务 代码 import torch import torch.nn as nnfrom timm.models.layers import DropPath # 论文:D-Net:具有动态特征融合的动态大核,用于体积医学图像分割(3D图像任务) # https://arxiv.org/abs/2403…

嵌入式开发问题总汇

1. 事情经过:有天快下班的时候,我们采购经理找到我,说,生成的bin文件通过软件上传烧录时,烧录就会重启,但是其他的板子就不会。最后他换了一个A厂家的flash芯片,就可以了。但是,B厂…

整箱排柜不返工?用易境通散拼系统就OK

想必困扰散货拼柜小伙伴们一大难题就是,怎么把错乱纷繁的货物有序地整箱排柜,并且要保证集装箱高效利用,运输成本尽量降低。这不仅要求操作者具备卓越的统筹规划能力,更需长期积累的实践经验和敏锐的应变能力。易境通散拼系统可以…

SSM城市垃圾分类管理系统-计算机毕业设计源码44582

摘 要 在当前全球环境问题日益突出的背景下,城市垃圾分类成为推动可持续发展和环境保护的重要举措之一。然而,传统的垃圾处理方式存在效率低下、资源浪费和环境污染等问题。因此,开发一个基于Java编程语言、MySQL数据库和HTML前端技术的高效…

前缀和与差分大总结!!!C++

学了忘忘了学o(╥﹏╥)o 题源acwing 讲解前缀和一维,用于序列二维,用于矩阵 讲解差分什么是差分数组?一维差分数组二维差分数组 题目一:前缀和题目二:子矩阵的和题目三:差分题目四:差分矩阵 讲…

中电金信:金融机构企业级客户中心建设指南

客户中心系统(ECIF​)承担了数字化转型的重要使命,管理和认识客户是内部运营和外部监管的共同需求。更为重要的是,客户数据需要全场景地参与到数字化运营中,几乎所有业务都围绕着客户展开,几乎所有场景都需…

无人机技术已应用至地理测绘,Infortrend存储助力测绘数据

--高扩展保存海量无人机数据,高性能支持快速调取建模,数据安全也有免费的备份功能,实实在在好用的存储设备。