“插入 SparkSession 数据帧”不存在 - IBM Watson 工作室

Question

我正在关注 IBM 的这个在线课程：Advanced Machine Learning course。

我想加载一个.csv 文件，然后将其以parquet 格式存储在我的Watson 项目内的云对象存储中（您可以在此处找到如何访问存储Object Storage Watson）。

课程老师使用如下方法：add files to Object Storage。

基本上，该文档显示了如何使用 Insert SparkSession Dataframe 选项自动检索对象云凭据和 URL。

我根本找不到这个选项，我几乎尝试了所有方法，但是点击我导入的.csv（如文档中所建议的那样）只会给我pandas Dataframe 选项。

我做错了什么？我仔细地遵循了每一步，我尝试了几乎所有可能的环境（Free CPU Python 3.6，Apache Spark Python 3.6 ecc ...），但没有成功，该选项根本不会显示。

Answer 1

我解决了这个问题。

您需要创建一个新环境并将 Spark 添加到其中。

创建笔记本后，选择此环境，加载一个虚拟的.json 文件，然后您就可以选择Insert SparkSession Dataframe。