【问题标题】:Scala read csv file and sort the fileScala读取csv文件并对文件进行排序
【发布时间】:2018-07-13 12:52:38
【问题描述】:

我已将 csv 文件读取到数据框,我想按 asc 顺序对 df 进行排序

import org.apache.spark.sql.{Dataset, DataFrame, SparkSession}
scala> df.sort($"year","state".ASC)

:37: 错误:值排序不是 Unit 的成员 df.sort($"year","state".ASC)

我做错了什么?

【问题讨论】:

    标签: scala apache-spark apache-spark-sql


    【解决方案1】:

    你可以这样做:

    import org.apache.spark.sql.functions.asc
    df.sort(asc("column_name"))
    

    或者,你可以这样做:

    import sqlContext.implicits._
    df.sort($"column_name".asc)
    

    【讨论】:

    • 谢谢,我还发现我的df实际上是空的,这就是命令不起作用的原因
    猜你喜欢
    • 2011-08-04
    • 1970-01-01
    • 2019-04-25
    • 1970-01-01
    • 2015-12-27
    • 2017-06-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多