使用 GNU Parallel 进行分页

Question

我喜欢 GNU Parallel，并尝试将其用于分页，但需要帮助才能使其成功运行。基本上，我遵循 Quickblox API 指南中的用例来获取数据：

http://quickblox.com/developers/Custom_Objects#Get_related_records

每页最多可检索 100 条记录，一次只能检索一页。这些是通过 -d 参数指定的。我想使用 GNU Parallel 来获取第 1..79 页。

我找到了一个线程，它解释了当您的参数具有许多不同的值但无法成功地适应我的情况时如何使用 GNU Parallel。

GNU Parallel - parallelize serial command line programs without changing them

您的帮助将不胜感激！

curl -X GET -H "QB-Token: 7de49c25f44e557aeed1b635" -d "page=3" -d "per_page=100" https://api.quickblox.com/users.xml > qblox_users_page3_100perpage

Answer 1

如果你想在不同的文件中输出：

parallel 'curl -X GET -H "QB-Token: 7de49c25f44e557aeed1b635" -d "page={}" -d "per_page=100" https://api.quickblox.com/users.xml > qblox_users_page{}_100perpage' ::: {1..79}

如果你想把它放在一个大文件中：

parallel -k 'curl -X GET -H "QB-Token: 7de49c25f44e557aeed1b635" -d "page={}" -d "per_page=100" https://api.quickblox.com/users.xml' ::: {1..79} > qblox_users