循环文件并运行 shell 脚本

Question

我在 Linux 中有一个 shell 脚本：

#!/bin/bash
#This script is to import tables from mysql to hdfs
source /home/$USER/mysql/source.sh
[ $# -ne 1 ] && { echo "Usage : $0 table ";exit 1; }
table=$1
sqoop import --connect ${domain}:${port}/${database} \
             --username ${username} --password ${password}\
             --query "select * from ${table} where \$CONDITIONS" \
             -m 1 --as-parquetfile --hive-import --hive-database ${hivedatabase} \
             --hive-table ${table} --map-column-java Date=String \
             --target-dir /user/hive/warehouse/${hivedatabase}.db/${table}\
             --outdir /home/$USER/logs/outdir

echo "****************************************************"

此脚本将表名作为参数。表名位于名为 tables.txt 的文件中。

source.sh文件内容：

domain=jdbc:mysql://XXXXXXXXX
port=3306
database=testing
username=xxxxxx
password=xxxxxxx
hivedatabase=testing 

现在我想并行安排这个脚本。我想做的是一次为 10 个表安排这个脚本。就像从 tables.txt 中获取前 10 个表名，然后运行此脚本。如果脚本是针对一个表执行的，那么就取第 11 个表，依此类推......

是否有可能在cron工作中做，或者我们如何才能做到这一点。

请提出最佳方法。

Answer 1

为了回答这个问题，假设您的脚本位于名为load_data.sh 的文件中，您的设置位于settings.sh 中，并且您的表名列表位于tables.txt 中。现在你可以运行了：

xargs --max-procs 10 -n 1 sh load_data.sh < tables.txt

详情请阅读xargs 手册页； --max-procs 导致 xargs 一次最多生成 10 个进程，并且它将向每个调用传递一个表名。