oozie 错误：不允许访问本地文件系统

Question

Sqoop 导入操作在作为 oozie 作业运行时出错。

我正在使用伪分布式 hadoop 集群。 我已按照以下步骤操作。

1.启动oozie服务器

2.编辑job.properties和workflow.xml文件

3.将workflow.xml复制到hdfs中

4.运行 oozie 作业

我的 job.properties 文件

nameNode=hdfs://localhost:8020

jobTracker=localhost:8021

queueName=default

examplesRoot=examples

oozie.use.system.libpath=true

oozie.wf.application.path=${nameNode}/user/hduser/${examplesRoot}/apps/sqoop

workflow.xml 文件

<action name="sqoop-node">
    <sqoop xmlns="uri:oozie:sqoop-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <prepare>
            <delete path="${nameNode}/user/hduser/${examplesRoot}/output-data/sqoop"/>
            <!--<mkdir path="${nameNode}/user/hduser/${examplesRoot}/output-data"/>-->
        </prepare>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <command>import --connect "jdbc:mysql://localhost/db" --username user --password pass --table "table" --where "Conditions" --driver com.mysql.jdbc.Driver --target-dir ${nameNode}/user/hduser/${examplesRoot}/output-data/sqoop -m 1</command>
        <!--<file>db.hsqldb.properties#db.hsqldb.properties</file>
        <file>db.hsqldb.script#db.hsqldb.script</file>-->
    </sqoop>
    <ok to="end"/>
    <error to="fail"/>
</action>

<kill name="fail">
    <message>Sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>

我原以为作业将运行而不会出现任何错误。但是作业被杀死了，它给出了以下错误。

UnsupportedOperationException: 不允许访问本地文件系统。

我不明白我错在哪里以及为什么不允许完成工作？ 谁能帮我解决这个问题。

Answer 1

Oozie sharelib（带有 Sqoop 操作的依赖项）存储在 HDFS 上，服务器需要知道如何与 Hadoop 集群通信。不允许访问存储在本地文件系统上的 sharelib，请参阅 CVE-2017-15712。

请查看conf/hadoop-conf/core-site.xml，并确保它不使用本地文件系统。例如，如果您的 HDFS 名称节点在 localhost 上侦听端口 9000，则相应地配置 fs.defaultFS。

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
...
</configuration>

或者，您可以删除 RawLocalFileSystem 类（虚拟实现）并重新启动服务器，但不建议这样做（即服务器容易受到 CVE-2017-15712 的攻击）。

希望这会有所帮助。另见this answer。