如何做律所网站,Wordpress不能修改导航名称,杭州做兼职网站,怎样在工商局网站做申请登记笔记整理 | 方尹#xff0c;浙江大学在读博士#xff0c;研究方向#xff1a;图表示学习。论文地址#xff1a;https://arxiv.org/abs/2012.12533动机与贡献现有的对比学习框架中可能存在以下几个弊端#xff1a;1.把节点看成一种视图#xff0c;在节点和图之间进行对比学… 笔记整理 | 方尹浙江大学在读博士研究方向图表示学习。论文地址https://arxiv.org/abs/2012.12533动机与贡献现有的对比学习框架中可能存在以下几个弊端1.把节点看成一种视图在节点和图之间进行对比学习这样可能会限制模型捕获整体信息的能力2.把子图看成一种视图挑选子图的方法比如随机游走或着k-hop邻居很大概率会得到完全没有意义的子图。而依赖于子图结构计数的motif mining方法又不适用于大规模数据集。 作者提出了MICRO-Graph框架1.自动化找出motif再找出这个motif下的子图2.一种子图到图的对比学习框架模型与算法整体框架分为三部分1.找出重要的子图2.cluster抽出来的子图并定义主题3.子图到图的对比学习。图通过GNN encoder得到节点的表示再通过segmenter模块抽取子图子图通过encoder获得子图表示子图的表示通过motif learner模块学习子图属于哪些主题更新的参数又会影响segmenter抽取子图的方式和节点表示。把最终生成的子图和整个图进行对比学习。Motif learnerinput graph通过segmenter抽取出N个子图每个子图通过encoder学习到子图的表示。这里要用到的两个矩阵S衡量了主题和子图的相似度Q衡量了子图被分配到某个主题的概率。E-step的目标就是求解Q使得子图和它被分配到的主题的相似度最大。目标函数最大化 分配矩阵Q和相似度矩阵S乘积的迹 其实就是最大化子图和它被分配到的主题的相似度。因为在进行表示学习时representation会发生变化可能会导致退化的问题比如所有的表示都聚到一个cluster。所以这里引入了一个约束H(Q).M-step的目标是在已知最优Q的情况下寻找似然函数最大化时对应的参数更新encoder的参数和motif embedding table。相当于一个label为Q预测得分为S的K-分类问题。利用负对数似然做损失函数这里的S做了softmax normalization.motif learner的作用就是在给定的子图上学习他们的主题。Motif-guided subgraph segmenter包含n个节点的graph通过encoder得到每个节点的embedding, 计算了节点两两之间的相似度。通过A进行谱聚类将聚类后组成成分多于3个节点的子结构作为subgraph, 聚合子结构包含的所有节点embedding作为subgraph embedding.它的训练基于一种直觉如果子图和主题很相似那么子图的节点embedding随着update也会相似。Loss如果子图和任意主题相似度高于某个阈值就让子图中节点的affinity values更高这些节点和不在子图中的其他节点的affinity values越低。经过训练在下一个sampling回合中产生出来的motif-like的子图的节点更有可能被分割在一起这样的子图才会更有意义。Contrastive learning between graph and subgraphs图和从这张图中sample出的子图作为positive pairs这张图和从其他图中sample出的子图作为negative pairs. W是图和子图的相似度矩阵。Joint training训练时同时考虑三个模块的损失。实验与结果1.两种evaluation protocol2.五个最频繁出现的主题用与他们最相近的subgraph表示3.Ablation study欢迎有兴趣的同学阅读原文。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
