【发布时间】:2022-11-25 08:12:38
【问题描述】:
我尝试在 Windows Jupyter Notebook(Python3.8,Pyspark 3.3.0)上使用 pyspark,但我无法使用 spark session,因为它有运行时错误。enter image description here987654321@
所以我尝试设置 java home 和 sparkhome。当我运行以下代码时,一切都很好: 代码如下所示: **
import pyodbc
import psycopg2
import pandas as pd
import numpy as np
import os
import sys
import findspark
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.3.0-bin-hadoop3"
**
但是,当我尝试使用以下代码时。我得到一个索引错误。 **
findspark.init()
spark_home = findspark.find()
**
当我尝试导入pyspark包时,它也有这个错误。enter image description here **
from pyspark.sql import SparkSession
from pyspark.context import SparkContext
from pyspark.sql import functions as F
** 有人可以帮助我吗?谢谢!
【问题讨论】:
标签: python apache-spark pyspark operating-system