ramy  2021-01-05 16:10:34  赢咖4平台 |   查看评论   

图神经网络GNN)

图神经网络(GNN)这个概念近几年很火,确实如此。五毛网

然而今天,一位Reddit网友却“背道而驰”地提出了强烈反对观点。例如:

过去5年中,大多数图神经网络(GNN)论文提供的结果,对从业者没有太多帮助。

我太烦Node2Vec了,引用量不应该达到7500这个数量。

就玩那些没有的、小数据,效率提不上来,很难取得进步。

添加一些新的图层/超参数,编一个可爱的数学故事来解释它为什么重要。

当前的图形数据结构,简直糟糕透了。

全局方法,是个死胡同。

……

点评、分析之犀利,瞬间引来了众多网友的围观。

图神经网络(GNN)

接下来便来细看下这位网友,为什么对图神经网络(GNN)如此之厌恶。

(为了方便阅读,以下内容将以第一人称进行表述)

模型与压缩有关

先来简单回顾一下基础知识。

大家都说图(graph)是一种“非欧几里得”数据类型,但事实并非如此。

一个正则图(regular graph)只是思考特殊矩阵(邻接矩阵)的另一种方式而已。

图神经网络(GNN)

很奇怪的一点就是,当我们看到满满都是实数的矩阵时候,就决定称之为“非欧几里得矩阵”。

但这背后也有其实际的原因,因为大多数的图都是非常稀疏的,也就是说矩阵里面大多数的数值都是零。

基于这一点,矩阵里面非零的数字就显得格外重要。这就使得问题更加接近离散数学,而不是简单连续、梯度友好的数学。

如果你有一个全矩阵(full matrix),那事情就会变得相当容易

如果我们暂时不考虑这些恼人的点,假设用一整个邻接矩阵也没什么大不了的,那我们就决绝了一大堆的问题。

首先,网络节点嵌入(network node embedding)就不再是个难题了。一个节点只是矩阵中的一行,所以它已经是一个数字向量。

其次,还解决了所有的网络预测问题。五毛网

一个足够强大且经过良好调优的模型,将提取网络和我们附加到节点上的任何目标变量之间的所有信息。

NLP也只是花式的矩阵压缩

让我们从图形切入到NLP。

正如我们将要看到的,我们所做的大多数NLP问题,都可以用图来表示,所以这并不是什么“题外话”。

首先,请注意,像Word2Vec和GloVe这样的Ye Olde词嵌入模型,只是矩阵分解。

GloVe 算法是对旧的词袋(bag of word)矩阵的一种变形。它遍历这些句子,并创建一个(隐含的)共现图(co-occurence graph),其中节点是单词,而边则根据单词在句子中出现的频率进行加权。

然后,GloVe对共生图的矩阵表示进行矩阵分解,Word2Vec在数学上是等价的。

甚至语言模型也只是矩阵压缩

语言模型风靡一时,可以说,它们主宰了 NLP 的大部分技术。

让我们以BERT为例,BERT会根据句子的上下文,来预测了一个单词:

 1/4    1 2 3 4 下一页 尾页
 

除特别注明外,本站所有文章均为 赢咖4注册 原创,转载请注明出处来自「图神经网络(GNN),简直太垃圾了」,一位Reddit网友的深度分析火了-五毛网

留言与评论(共有 0 条评论)
   
验证码:
[lianlun]1[/lianlun]