【发布时间】:2019-11-22 16:37:48
【问题描述】:
我有一个返回“Option[myDataStructure].
当我从 Zeppelin 笔记本中调用它时,它说它不能在值上调用“show()”,因为它是“option”类型的。
有没有其他方法可以将我的返回值漂亮地打印为数据集?
使用println 打印真的很笨拙。
val returnValue: Option[myDataStructure] = myFunction(a,b)
returnValue.show(10,false)
【问题讨论】:
-
什么是
show()?这是在myDataStructure上定义的方法吗?如果是这样,您可以使用returnValue.fold( showNone(10, false) ) (_.show(10, false))(您必须决定如何显示缺失值)。 -
show可能指的是 SparkDataFrame上的方法。我会使用:returnValue.fold( showNone(println('no data")) { df => df.show(10, false) }. -
Show 是 Spark DataFRame 上的方法。但是,返回的值不是 DataFrame。无论如何,我可以将我的
set[MyDataStructure]转换为dataset[MyDataStructure]吗? IT 会让我在数据集上调用 show() 并以可读格式打印值。
标签: scala apache-spark apache-zeppelin