更方便的方式来重现 pyspark 样本

Question

大部分关于spark的问题都使用show作为代码示例，没有生成数据帧的代码，像这样：

df.show()
+-------+--------+----------+
|USER_ID|location| timestamp|
+-------+--------+----------+
|      1|    1001|1265397099|
|      1|    6022|1275846679|
|      1|    1041|1265368299|
+-------+--------+----------+

如何在我的编程环境中重现此代码而无需手动重写？ pyspark 在 pandas 中有一些相当于 read_clipboard 的东西？

---

编辑

缺少将数据导入我的环境的功能是我在 Stackoverflow 中帮助他人使用 pyspark 的一大障碍。

所以我的问题是：

从show 命令将stackoverflow 中粘贴的数据复制到我的环境中最方便的方法是什么？

Answer 1

您始终可以使用以下功能：

from pyspark.sql.functions import *

def read_spark_output(file_path):
    step1 = spark.read \
             .option("header","true") \
             .option("inferSchema","true") \
             .option("delimiter","|") \
             .option("parserLib","UNIVOCITY") \
             .option("ignoreLeadingWhiteSpace","true") \
             .option("ignoreTrailingWhiteSpace","true") \
             .option("comment","+") \
             .csv("file://{}".format(file_path))
    # select not-null columns
    step2 = t.select([c for c in t.columns if not c.startswith("_")])
    # deal with 'null' string in column
    return step2.select(*[when(~col(col_name).eqNullSafe("null"), col(col_name)).alias(col_name) for col_name in step2.columns])

这是以下问题中给出的建议之一：How to make good reproducible Apache Spark examples。

注意 1： 有时，在某些特殊情况下，这可能由于某种原因不适用，并且可能会产生错误/问题，例如 Group by column "grp" and compress DataFrame - (take last not null value for each column ordering by column "ord")。 所以请谨慎使用！

注意 2：（免责声明）我不是代码的原作者。感谢@MaxU 提供代码。我只是对它做了一些修改。

Answer 2

迟到的答案，但我经常遇到同样的问题，所以为此写了一个小实用程序https://github.com/ollik1/spark-clipboard

它基本上允许复制粘贴数据框显示字符串来触发。要安装它，添加jcenter依赖com.github.ollik1:spark-clipboard_2.12:0.1和spark config.config("fs.clipboard.impl", "com.github.ollik1.clipboard.ClipboardFileSystem")之后，可以直接从系统剪贴板读取数据帧

val df = spark.read
  .format("com.github.ollik1.clipboard")
  .load("clipboard:///*")

如果您愿意，也可以选择文件。自述文件中描述了安装细节和使用方法。

Answer 3

您始终可以将 pandas 中的数据作为 pandas 数据帧读取，然后将其转换回 spark 数据帧。不，与 pandas 不同，pyspark 中没有 read_clipboard 的直接等价物。

原因是 Pandas 数据帧大多是扁平结构，而 spark 数据帧可以具有复杂的结构，如结构、数组等，因为它具有多种数据类型，并且这些数据类型不会出现在控制台输出中，所以这是不可能的从输出中重新创建数据框。

Answer 4

可以结合panda read_clipboard，转换成pyspark dataframe

from pyspark.sql.types import *

pdDF = pd.read_clipboard(sep=',', 
                       index_col=0, 
                       names=['USER_ID', 
                              'location',
                              'timestamp',
                              ])



mySchema = StructType([ StructField("USER_ID", StringType(), True)\
                       ,StructField("location", LongType(), True)\
                       ,StructField("timestamp", LongType(), True)])

#note: True (implies nullable allowed)


df = spark.createDataFrame(pdDF,schema=mySchema)

更新：

@terry 真正想要的是将 ASCII 码表复制到 python ，以下是 例子。当您将数据解析为 python 时，您可以转换为任何内容。

def parse(ascii_table):
    header = []
    data = []
    for line in filter(None, ascii_table.split('\n')):
        if '-+-' in line:
            continue
        if not header:
            header = filter(lambda x: x!='|', line.split())
            continue
        data.append(['']*len(header))
        splitted_line = filter(lambda x: x!='|', line.split())
        for i in range(len(splitted_line)):
            data[-1][i]=splitted_line[i]
    return header, data