【发布时间】:2019-11-18 22:13:15
【问题描述】:
我在一个 linux 帐户上安装了miniconda3,然后我创建了一个环境py37,安装了所有需要的包,并且能够从第二个帐户启动ipython 并导入我想要导入的包:@987654325 @。为此,我将带有miniconda3 的文件夹中的所有权限更改为777。不知何故,在第二个帐户上运行的命令卡住了,但是在安装了miniconda3 的初始帐户上执行时,它运行成功:
import hail as hl
---> mt = hl.balding_nichols_model(n_populations=3, n_samples=50, n_variants=100)
mt.count()
中间的命令卡住了。没有错误,只是没有返回。当我在原始帐户上运行hl.balding_nichols_model 时,它也给了我一个警告(但运行成功,在mt.count() 中给出结果):
警告 NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类
问题是,在命令失败的另一个帐户上,我安装了 Hadoop。所以,我有点怀疑它在某种程度上是相关的。我完全被卡住了,所以会很感激任何建议。我需要这样做 - 在一个帐户上安装 miniconda3,然后从另一个帐户访问它 - 因为在第一个帐户上我有数 TB 的免费数据,但在第二个帐户上 - 4Gb,不幸的是它无法进一步扩展.有了miniconda3,我很快就会超越极限。
可以在此处找到有关实际软件的其他信息:
https://hail.is/docs/0.2/getting_started.html#installation
更新
我在节点上的conda 上单独安装了python37 并且不知何故它也不起作用,所以这不是权限问题,现在问题仅限于那个特定的linux帐户。我安装了spark2.4,但这并没有解决问题。因此,python 脚本中的中间命令卡住了,我什至不知道如何获得log 输出,那里发生了什么。
【问题讨论】:
标签: linux apache-spark permissions miniconda hail