【问题标题】:RuntimeError pyarrow not installedRuntimeError pyarrow 未安装
【发布时间】:2019-08-28 10:07:15
【问题描述】:

我使用 pip 在 Ubuntu 16.04 上的虚拟环境中安装 pyarrow 0.13.0,它已成功安装,但每当我调用它时,都会出现以下错误。

---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/dask/utils.py in import_required(mod_name, error_msg)
     90     try:
---> 91         return import_module(mod_name)
     92     except ImportError:

~/anaconda3/lib/python3.7/importlib/__init__.py in import_module(name, package)
    126             level += 1
--> 127     return _bootstrap._gcd_import(name[level:], package, level)
    128 

~/anaconda3/lib/python3.7/importlib/_bootstrap.py in _gcd_import(name, package, level)

~/anaconda3/lib/python3.7/importlib/_bootstrap.py in _find_and_load(name, import_)

~/anaconda3/lib/python3.7/importlib/_bootstrap.py in _find_and_load_unlocked(name, import_)

ModuleNotFoundError: No module named 'pyarrow'

During handling of the above exception, another exception occurred:

RuntimeError                              Traceback (most recent call last)
<ipython-input-2-6c07c44edca9> in <module>
      1 df = dd.read_parquet(
      2     'sample_10percent_value_1000_only.parquet', engine='pyarrow',
----> 3     columns=['argument_0', 'func_name', 'symbol', 'location', 'script_url']
      4 )
      5 df.head()

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in read_parquet(path, columns, filters, categories, index, storage_options, engine, infer_divisions)
   1141         paths = path
   1142     else:
-> 1143         read = get_engine(engine)['read']
   1144         fs, fs_token, paths = get_fs_token_paths(
   1145             path, mode='rb',

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in get_engine(engine)
   1035 
   1036     elif engine == 'pyarrow':
-> 1037         pa = import_required('pyarrow', "`pyarrow` not installed")
   1038 
   1039         if LooseVersion(pa.__version__) < '0.8.0':

~/anaconda3/lib/python3.7/site-packages/dask/utils.py in import_required(mod_name, error_msg)
     91         return import_module(mod_name)
     92     except ImportError:
---> 93         raise RuntimeError(error_msg)
     94 
     95 

RuntimeError: `pyarrow` not installed `

【问题讨论】:

  • 请尝试重新创建您的环境并发布重现此的步骤。看起来你使用 conda,不要使用 virtualenv,而是使用 conda createconda install 来创建新环境。
  • @Uwe L. korn 我使用 conda 创建环境而不是 virtualenv,并且在使用 pip 之前我也使用 conda 进行安装,但我仍然遇到同样的错误。
  • 请在问题中添加命令。没有这种帮助几乎是不可能的

标签: python parquet pyarrow


【解决方案1】:

您是否激活/切换到您安装的环境?还是您不小心尝试从基本环境导入?只是一个快速的想法......

# windows: 
activate env_name
# linux/mac:
source activate env_name

【讨论】:

    猜你喜欢
    • 2022-01-16
    • 1970-01-01
    • 1970-01-01
    • 2019-09-14
    • 2021-04-22
    • 2018-12-15
    • 1970-01-01
    • 2021-09-13
    • 2019-12-03
    相关资源
    最近更新 更多