【发布时间】:2018-11-06 06:54:18
【问题描述】:
对于以下情况为什么会发生错误,我有点困惑:
我得到了以下项目:
home/projects/project1
和:
user:home/projects/project1$ ls
file1.py
file2.py
__init__.py
data
其中 data 是一个包含一些文件的文件夹。
我会做以下事情:
from os import path
import sys
sys.path.append(path.abspath('/home/projects/project1'))
from file1 import function1
这行得通。
import file2 也可以正常工作。
file1 依赖于file2 的一些功能。如file1开头为:
from file2 import function2
所以当我打电话时:
res = function1(some_input)
我收到以下错误:
File "/home/dimitris/spark-2.1.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/serializers.py", line 434, in loads
return pickle.loads(obj)
ImportError: No module named file2
为什么会这样?
编辑
不确定它是否相关,但我正在制作这个模块并尝试将其导入 apache-zeppelin 笔记本中以在那里使用它们。还有我得到错误的地方。
好像和这个问题有关:Pyspark --py-files doesn't work
【问题讨论】:
标签: python pyspark apache-zeppelin