【发布时间】：2018-07-07 06:13:53
【问题描述】：
我正在使用 bash shell 开发 CentOS。
我没有看到代码中有任何错误，但它一直打印 arguments list too long 错误。
它不仅适用于aws cp，在cat /dev/null > $FILE_DIR/dailey_member.csv之后也打印相同的消息。
echo " ===== dailey vote by member"
cat /dev/null > $FILE_DIR/dailey_member.csv
QUERY_DAILEY_MEMBER_RS=`mysql -h $MYSQL_URL -u$MYSQL_USER -p$MYSQL_PW $MYSQL_SCHEMA -e "SELECT voteDate, usrId, count(usrId) FROM tbl_vote GROUP BY voteDate, usrId;"`
IFS=$'\n' LINES=($QUERY_DAILEY_MEMBER_RS)
for i in "${!LINES[@]}"; do
LINE_IDX=$i
LINE=${LINES[$LINE_IDX]}
LINE=${LINE//$'\t'/,}
echo -e $LINE >> $FILE_DIR/dailey_member.csv
done
echo "aws s3 cp $FILE_DIR/dailey_member.csv " $S3_PATH # copy output works.
aws s3 cp "$FILE_DIR/dailey_member.csv" $S3_PATH
exit 0
我该如何解决这个问题？
谢谢。
仅供参考， 我想做的是……
- 做MYSQL查询
- 解析结果并写入 csv 文件
- 发送到 s3 存储库，以便人们下载文件
==============已编辑#1 ================
我将变量设置在文件顶部...
export FILE_DIR="/home/jyoh/applications18/cron/file"
export S3_PATH="s3://juneyoung/applications18/voteLogs/"
结果放在控制台上。
[jyoh@ip-XX-XX-X-XXX cron]$ sh ./daileyVoteByMember.sh
===== dailey vote by member
aws s3 cp /home/jyoh/applications18/cron/file/dailey_member.csv s3://juneyoung/applications18/voteLogs/
./daileyVoteByMember.sh: line 27: /usr/bin/aws: arguments list too long
[jyoh@ip-XX-XX-X-XXX cron]$ aws s3 cp /home/jyoh/applications18/cron/file/dailey_member.csv s3://juneyoung/applications18/voteLogs/
upload: file/dailey_member.csv to s3://juneyoung/applications18/voteLogs/dailey_member.csv
line27 是aws s3 cp "$FILE_DIR/dailey_member.csv" $S3_PATH 所在的位置。
==============已编辑#2 ================
带有选项-x的结果。
...SKIP...
+ LINE_IDX=265782
+ LINE='20180129 9>2387463256785462364 1'
+ LINE='20180129,9>2387463256785462364,1'
+ echo -e '20180129,9>2387463256785462364,1'
+ for i in '"${!LINES[@]}"'
+ LINE_IDX=265783
+ LINE='20180129 9>3658743656387567834 1'
+ LINE='20180129,9>3658743656387567834,1'
+ echo -e '20180129,9>3658743656387567834,1'
+ echo 'aws s3 cp /home/jyoh/applications18/cron/file/dailey_member.csv s3://juneyoung/applications18/voteLogs/'
+ aws s3 cp /home/jyoh/applications18/cron/file/dailey_member.csv s3://juneyoung/applications18/voteLogs/
./daileyVoteByMember.sh: line 27: /usr/bin/aws: arguments list too long
+ exit 0
==============已编辑#3 ================
将aws复制到新的bash文件中并执行
文件内容
#! /bin/bash
aws s3 cp /home/jyoh/applications18/cron/file/dailey_member.csv s3://juneyoung/applications18/voteLogs/
exit 0
控制台输出
[jyoh@ip-XX-XX-X-XXX cron]$ sh testSh.sh
upload: file/dailey_member.csv to s3://juneyoung/applications18/voteLogs/
==============已编辑#4 ================
这工作得很好而且很干净。 for 和 >> 文件重定向可能有问题？
function sendS3 () {
echo "S3 send command : aws s3 cp $1 $S3_PATH"
aws s3 cp $1 $S3_PATH
}
echo " ===== daily vote"
mysql -h "$MYSQL_URL" -u"$MYSQL_USER" -p"$MYSQL_PW" "$MYSQL_SCHEMA" -e "SELECT QUERY #1;" | sed $'s/\t/,/g' > "$FILE_DIR"/daily.csv
sendS3 "$FILE_DIR"/daily.csv
echo " ===== dailey vote by member"
mysql -h "$MYSQL_URL" -u"$MYSQL_USER" -p"$MYSQL_PW" "$MYSQL_SCHEMA" -e "SELECT QUERY #2;" | sed $'s/\t/,/g' > "$FILE_DIR"/daily_member.csv
sendS3 "$FILE_DIR"/dailey_member.csv
echo " ===== daily vote by ip"
mysql -h "$MYSQL_URL" -u"$MYSQL_USER" -p"$MYSQL_PW" "$MYSQL_SCHEMA" -e "SELECT QUERY #3" | sed $'s/\t/,/g' > "$FILE_DIR"/daily_ip.csv
sendS3 "$FILE_DIR"/daily_ip.csv
echo " ===== daily vote by member,item"
mysql -h "$MYSQL_URL" -u"$MYSQL_USER" -p"$MYSQL_PW" "$MYSQL_SCHEMA" -e "SELECT QUERY #4" | sed $'s/\t/,/g' > "$FILE_DIR"/daily_item.csv
sendS3 "$FILE_DIR"/daily_item.csv
exit 0
==============编辑#5 ================
这是完整的脚本。为了安全起见，我替换了 url 和一些变量。
#! /bin/bash
export SLACK_URL="SLACK_API_URL"
export MYSQL_URL="MYSQL_CONNECTION_URL"
export MYSQL_USER="MYSQL_USER"
export MYSQL_PW="MYSQL_PW"
export MYSQL_SCHEMA="USER"
export FILE_DIR="FILE_PATH"
export QUERY_DAILY_RS=""
export QUERY_DAILY_MEMBER_RS=""
export QUERY_DAILY_IP_RS=""
export QUERY_DAILY_MEMBER_ITEM_RS=""
export S3_PATH="S3_URL_TO_STORE"
echo -e "Sending vote report to Slack"
echo $MYSQL_URL
echo $MYSQL_USER::$MYSQL_PW
function sendS3 () {
echo "S3 send command : aws s3 cp $1 $S3_PATH"
aws s3 cp $1 $S3_PATH
}
echo " ===== daily vote"
cat /dev/null > $FILE_DIR/daily.csv
QUERY_DAILY_RS=`mysql SELECT QUERY 1;`
IFS=$'\n' LINES=($QUERY_DAILY_RS)
for i in "${!LINES[@]}"; do
LINE_IDX=$i
LINE=${LINES[$LINE_IDX]}
LINE=${LINE//$'\t'/,}
echo -e $LINE >> "$FILE_DIR"/daily.csv
done
sendS3 "$FILE_DIR/daily.csv"
echo " ===== daily vote by member"
cat /dev/null > $FILE_DIR/daily_member.csv
QUERY_DAILY_MEMBER_RS=`mysql SELECT QUERY 2`
IFS=$'\n' LINES=($QUERY_DAILY_MEMBER_RS)
for i in "${!LINES[@]}"; do
LINE_IDX=$i
LINE=${LINES[$LINE_IDX]}
LINE=${LINE//$'\t'/,}
echo -e $LINE >> $FILE_DIR/daily_member.csv
done
sendS3 "$FILE_DIR/daily_member.csv"
echo " ===== daily vote by ip"
cat /dev/null > $FILE_DIR/daily_ip.csv
QUERY_DAILY_IP_RS=`mysql SELECT QUERY 3`
IFS=$'\n' LINES=($QUERY_DAILY_IP_RS)
for i in "${!LINES[@]}"; do
LINE_IDX=$i
LINE=${LINES[$LINE_IDX]}
LINE=${LINE//$'\t'/,}
echo -e $LINE >> $FILE_DIR/daily_ip.csv
done
sendS3 "$FILE_DIR/daily_ip.csv"
echo " ===== daily vote by member,item"
cat /dev/null > $FILE_DIR/daily_member_item.csv
QUERY_DAILY_MEMBER_ITEM_RS=`mysql SELECT QUERY 4`
IFS=$'\n' LINES=($QUERY_DAILY_MEMBER_ITEM_RS)
for i in "${!LINES[@]}"; do
LINE_IDX=$i
LINE=${LINES[$LINE_IDX]}
LINE=${LINE//$'\t'/,}
echo -e $LINE >> $FILE_DIR/daily_member_item.csv
done
sendS3 "$FILE_DIR/daily_member_item.csv"
curl -X POST -H 'Content-type: application/json' --data '{"text":"Vote data collecting done"}' $SLACK_URL
exit 0
【问题讨论】：
-
您确定命令
cat /dev/null > "$FILE_DIR"/dailey_member.csv真的打印arguments list too long而不是其他脚本行吗？请以“调试模式”（sh -x）运行您的脚本。请告诉我们FILE_DIR变量的值。 -
它似乎来自 aws 命令内部，而不是来自您的主脚本。
-
更详细地看一下，看起来你只需要
mysql | sed $'s/\t/,/g' > file.csv虽然可能有一些选项可以让 MySQL 直接以你需要的格式创建输出。 -
但我同意@MontyMontemayor 的观点，认为这似乎是
aws s3 cp中的一个错误 -
没有引号的
echo -e $LINE看起来就像一个等待在你身上炸毁的错误。 You need quotes 除非您特别要求 shell 对值执行空格标记化和通配符扩展。
标签： bash file for-loop echo command-line-arguments