如何使用 rclone 从 S3 下载数据

Question

我有一个关于 rclone 的快速问题。

我正在尝试从tradestatistics.io 下载数据，它提供了下载示例代码：

rclone sync spaces:tradestatistics/hs-rev1992-visualization hs-rev1992-visualization

我的问题是如何访问该源中的文件列表，是否可以直接使用终端完成？

感谢您的帮助！

Answer 1

假设你已经安装了 rclone (https://rclone.org/downloads/)

要配置 rclone 以查看 S3 上的存储，请参阅 https://rclone.org/s3/

假设 spaces: 是您正确配置的 rclone 源远程，您可以使用终端 amnd rclone lsl 命令列出所有文件：

rclone lsl spaces:tradestatistics/hs-rev1992-visualization

其中tradestatistics 是存储桶，hs-rev1992-visualization 是根文件夹。

使用lsf 可以完成更易于阅读的列表。不是递归的，所以加-R：

rclone lsf -R spaces:

https://rclone.org/commands/rclone_lsl/ 的更多详细信息以及其他列表中的信息。

Answer 2

不知何故，我无法弄清楚配置。
让我向您展示我在终端 (MacOS) 中从一开始就配置 rclone 的代码：

cd && curl -O https://downloads.rclone.org/rclone-current-osx-amd64.zip #this is for downloading latest version

unzip -a rclone-current-osx-amd64.zip && cd rclone-*-osx-amd64 #Unzipping

sudo mkdir -p /Users/USER/Desktop/test

sudo mv rclone /Users/USER/Desktop/test #Moving rclone to a new directory

rclone config #here is the start of misunderstanding

然后我做了以下步骤：

1. 新遥控器
2. 名称：空格
3. 然后我选择了 4 号（/Amazon S3 Compliant Storage Providers 包括 AWS、阿里巴巴、Ceph、Digital Ocean、Dreamhost、IBM COS、Minio、SeaweedFS 和腾讯 COS\“s3”）
4. 然后是 4 号（4 / Digital Ocean Spaces\“DigitalOcean”）
5. 然后它要求：从运行时获取 AWS 凭证（环境变量或 EC2/ECS 元数据，如果没有环境变量），我只是选择默认选项。
6. 然后它要求提供 AWS 访问密钥 ID，我将其留空
7. 然后是 AWS 秘密访问密钥（密码），我也将其留空
8. S3 API 的端点，我在其中输入“tradestatistics.ams3.digitaloceanspaces.com”
9. 位置限制：我将其留空为“”
10. 然后出于安全问题，我选择数字 1，即 1 / 所有者获得 FULL_CONTROL。其他人没有访问权限（默认）。 \“私人”
11. 对于“编辑高级配置”，我选择“否，默认”

这些是我为配置所做的所有步骤，我可以在我当前的遥控器中看到这个“空格”。但是当我输入如下代码时：

rclone lsl spaces:tradestatistics

rclone sync spaces:tradestatistics/hs-rev1992-visualization hs-rev1992-visualization 

它返回如下错误：

2021/08/25 14:42:43 ERROR : S3 bucket tradestatistics path hs-rev1992-visualization: error reading source root directory: directory not found
2021/08/25 14:42:43 ERROR : Local file system at /Users/khumoyunusmanaliev/hs-rev1992-visualization: not deleting files as there were IO errors

您的帮助将非常有帮助！