以下代码会将 Apache Spark DataFrame 转换为 Great_Expectations DataFrame。如果我想将 Spark DataFrame spkDF 转换为 Great_Expectations DataFrame，我会执行以下操作：
ge_df = SparkDFDataset(spkDF)
谁能告诉我如何将 Great_Expectation 数据帧转换为 Spark 数据帧。
那么我需要做什么才能将新的 Great_Expectations 数据帧 ge_df 转换回 Spark 数据帧？
【问题讨论】：
标签： apache-spark pyspark great-expectations
根据official documentation，SparkDFDataset 类保存了原始的 pyspark 数据帧：
这个类拥有一个属性
spark_df，它是一个spark.sql.DataFrame。
所以您应该可以通过以下方式访问它：
ge_df.spark_df
【讨论】：
AttributeError: 'ExpectationSuiteValidationResult' object has no attribute 'spark_df' Traceback (most recent call last): AttributeError: 'ExpectationSuiteValidationResult' object has no attribute 'spark_df'
ExpectationSuiteValidationResult 上使用to_json_dict 来获得python dict 的结果，然后从中创建pyspark 数据框。
result_dict = validation_result.to_json_dict() 的结果。然后创建spark dataframe using the dict:df = spark.createDataFrame(result_dict)