【问题标题】:Spark: Can I get the case class from a data set?Spark:我可以从数据集中获取案例类吗?
【发布时间】:2018-10-13 11:06:40
【问题描述】:

我正在使用以下方法将数据框转换为数据集:

val dataSet = dataFrame.as[CustomClass]

如何获取此数据集所基于的案例类?我尝试了dataSet.schema,但它打印了整个架构。我想让它打印CustomClass

调用此方法的应用程序只会获取返回的数据集,他们最好知道它属于哪个案例类

【问题讨论】:

  • 您能否为此提供更多背景信息?在您提供的示例中,您已经知道该类,无需弄清楚。
  • 我知道。但是调用这个方法的应用程序只会得到返回的数据集,他们最好知道它属于哪个案例类。
  • 您能否提供一个示例来说明该代码的外观?如果您知道类型,则可以将其编码为方法的返回类型。该方法是否可能返回不同的类型,或者它总是相同的CustomClass

标签: scala apache-spark


【解决方案1】:

适用于有限场景的(简单)解决方案: 如果您在dataSet 中至少有一个元素,那么您可以使用dataSet.take(1)(0).getClass.getName

【讨论】:

    猜你喜欢
    • 2018-05-31
    • 2013-03-14
    • 2021-12-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-11-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多