【问题标题】:Spark word-Listof items programSpark word-Listof items 程序
【发布时间】:2016-05-09 18:28:13
【问题描述】:

Wordcount程序很简单,但是如何根据key获取项目的单词列表。(不是计数)
让例如:
位置,项目
班加罗尔,电视
班加罗尔,移动
海得拉巴,笔记本电脑

现在我需要这样的输出: 班加罗尔,(电视、手机)
海得拉巴,笔记本电脑
它可以是 Json 或 csv 或任何格式。

【问题讨论】:

  • @RaduIonescu,是的,OP 应该参考几乎所有 Spark 教程...

标签: scala apache-spark word-count


【解决方案1】:

Cityitems.csv:
城市,物品
班加罗尔,移动
班加罗尔,笔记本电脑
班加罗尔,移动
班加罗尔,桌面
海得拉巴,炊具
val data=sc.textFile("s3://path/Cityitems.csv").cache()
val rows = data.map(line => line.split(","))

val makestructure = rows.map(name => (name(0),name(1)))

makestructure.groupByKey.collect.foreach(println)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多