【发布时间】:2015-09-09 21:05:43
【问题描述】:
情况:
我在 Spark(在 scala 中)基于一些高音扬声器数据构建了一个图表,如下所示:
- 每个顶点都有一个推文 id(Long) 和推文正文 (String)
- 每条边都将源推文连接到转发推文
我的做法是从边文件中创建一个图形:
val followerGraph = GraphLoader.edgeListFile(sc, "C:\\Users\\...\\tweetGraphEdgesData.txt")
然后使用 outerJoinVertices 将属性添加到每个顶点
val graph = followerGraph.outerJoinVertices(verticesData){
case(uid,deg,Some(attrList))=>attrList
case(uid,deg,None)=> Array.empty[String]
}
问题:
现在我想将它连接到的边数附加到每个顶点(这基本上意味着它被转发了多少次)。我该怎么做?
【问题讨论】:
-
spark.apache.org/docs/latest/… 就是你想要的例子。
标签: scala twitter graph apache-spark spark-graphx