从 Pycharm 解析 HDFS 文件

Question

我正在运行一个解析器文件来解析来自本地目录的 .txt 文件中的文件。现在这些文件被移动到 HDFS 集群，我想配置我的 Pycharm 以访问 HDFS 集群。有人可以帮我做这件事吗？

Answer 1

我想配置我的 Pycharm 以访问 HDFS 集群

取决于您所指的 访问权限 类型。至于 HDFS CLI 基础知识，您可以使用 os

# Not tested
import os 
import sys 

f = "{}/tmp.txt".format(os.getcwd())
cmds = [
    "touch {}".format(f),
    "hadoop fs -copyFromLocal {} /user/$USER/".format(f),
    "rm -fv {}".format(f),
    "hadoop fs -copyToLocal /user/$USER/tmp.txt $PWD/",
]
for cmd in cmds:
    os.system(cmd)
assert os.path.exists(f)

但是，如果您正在寻找更精细的控制，您会想要pyarrow（或类似的东西）之类的东西