多线程 cURL 请求？

Question

我想在 ubuntu 上生成数字列表并发出 http 请求并使用 cURL 和 jq 保存结果。

我已经使用 FOR 循环编写了单线程并且它可以工作，但我想在我的脚本中添加线程以更快地工作。

    for i in `seq 12345 12550 `; do echo $i ;curl -s -k -X $'GET' \
-H $'Host: example.com' -H $'User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36' -H $'Accept: application/json, text/plain, */*' -H $'Accept-Encoding: gzip, deflate' -H $'Accept-Language: en-US,en;q=0.9,fa;q=0.8' -H $'Connection: close' \
$'https://example.com/pages/json/'$i'/list' | jq ".files[]"; done

如何向我的脚本添加线程或并行以加快我的进程？

我的目标是制作一个 bash 脚本，它接收来自用户的数字范围和线程计数的参数，并将每个请求的结果按请求的数字名称保存到特定路径。

$script.sh -numbers 12345-12550 -threads 100 -outpath ~/result/

Answer 1

doit() {
  i="$1"
  echo $i
  curl -s -k -X $'GET' \
    -H $'Host: example.com' -H $'User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36' -H $'Accept: application/json, text/plain, */*' -H $'Accept-Encoding: gzip, deflate' -H $'Accept-Language: en-US,en;q=0.9,fa;q=0.8' -H $'Connection: close' \
    $'https://example.com/pages/json/'$i'/list' |
    jq ".files[]"
}
export -f doit

seq 12345 12550 | parallel -j100 --results ~/result/{} doit

Answer 2

如果curl --version 表示您拥有7.66.0 或更高版本，那么您可以使用-Z/--parallel 进行并行传输。 --parallel-max <num> 设置同时传输的数量限制（默认限制为 50）。

但要使用它，您需要在 curl 的单个调用中指定目标 URL。一种方法是使用 curl 的 URL globbing（在man curl 中有描述）。例如，要获取 1 到 100 的范围：

curl 'https://example.com/pages/json/[1-100]/list'

还可以提供计步器（例如，[1-30:10] 对应于1、11、21）。即使没有-Z，这应该更有效，因为 curl 将能够重用连接。它还将允许 #1 的使用在 --output 文件名中具有特殊含义（这在 curl 手册中进行了描述，并且我认为您的意思是 save the result for each request to the specific path by requested number name）。

顺便说一句，您可能更喜欢使用-H 'Connection: keep-alive' 而不是-H $'Connection: close'（在发出多个请求时要求保持连接打开，$'' 引用用于处理我不使用的 C 样式反斜杠转义认为你想在这里做）。

我的目标是……

$script.sh -numbers 12345-12550 -threads 100 -outpath ~/result/

这是一个关于数字和线程的想法（在这里简单地作为第一个和第二个位置参数给出 - 选项解析取决于你）：

#!  /bin/sh   -

range=${1:?}
parallel=$2

url="https://example.com/pages/json/[$range]/list"
out='example_page_#1.json'

ua="Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"

curl -qfsS --compressed ${parallel:+-Z --parallel-max "$parallel"} \
  -H 'Accept: application/json, text/plain, */*'    \
  -H 'Accept-Encoding: gzip, deflate'               \
  -H 'Accept-Language: en-US,en;q=0.9,fa;q=0.8'     \
  -H 'Connection: keep-alive'                       \
  -A "$ua" -o "$out" "$url"

$ chmod +x example
$ ./example 01-15  5
$ ls
example_page_01.json  example_page_06.json  example_page_11.json
example_page_02.json  example_page_07.json  example_page_12.json
example_page_03.json  example_page_08.json  example_page_13.json
example_page_04.json  example_page_09.json  example_page_14.json
example_page_05.json  example_page_10.json  example_page_15.json

这会将每次传输保存到其自己的example_page_N.json 文件（在当前目录中）。之后您可以使用jq 进行任何处理。也许：

for f in example_page_*.json
  jq '.files[]' < "$f" > "files_$f"
done

我在评论中注意到您想要一个输出文件，其中每个结果的编号取决于.files[] 是否包含“***”。根据 json 数据，您可以使用 jq 在单个管道中执行此操作（但这与“多线程 cURL 请求？”的问题不同）。

Answer 3

最简单的方法是获取您拥有的脚本并使其接受输入以运行一次，然后创建另一个脚本以各种值调用该脚本。

例如：

Script1.sh

echo "%1 Hello World" >> output.txt

Script2.sh

 for name in $namesList ;do
        ./Script1.sh $name &
 done
 wait


cat output.txt
Dave Hello World
Tom Hello World
... 

注意：这更像是一种初学者方法，但您可以从那里调用类似这样的函数并使其成为一个脚本。

请参阅有关工作的文档： https://tldp.org/LDP/abs/html/x9644.html