如何为 sqoop 作业设置 vcore

Question

sqoop 是如何获取 vcore 来执行的。我提交了一个包含 4 个映射器的 sqoop 作业，即使有大约 50 个 vcore 可用，应用程序也以 1 个 vcore 开始。所以没有并行化。这是将 sqoop 作业导入文本文件。这些是纱线中关于 vcrore 分配的配置参数。 sqoop 作业如何获取 vcore 以执行？

<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>4</value>
<source>yarn-site.xml</source>
</property>

<property>
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>

<property>
<name>mapreduce.reduce.cpu.vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>

<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>8</value>
<source>yarn-default.xml</source>
</property>

<property>
<name>mapreduce.map.cpu.vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>

<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
<source>yarn-site.xml</source>
</property>

<property>
<name>yarn.scheduler.increment-allocation-vcores</name>
<value>1</value>
<source>yarn-site.xml</source>
</property>

Answer 1

来自https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_parallelism

Sqoop 从大多数数据库源并行导入数据。您可以使用 -m 或 --num-mappers 参数指定用于执行导入的映射任务（并行进程）的数量。

映射任务与 vcore 相同。