在集群上分发数据（使用种子？）答案

【问题标题】：Distributing data on cluster (using torrents?)在集群上分发数据（使用种子？）
【发布时间】：2017-10-06 18:29:26
【问题描述】：

我希望这是一个问这个问题的好地方，否则请将我重定向到正确的论坛。我有大量数据（~400GB）我需要分发到集群中的所有节点（~100 个节点）。任何有关如何执行此操作的帮助将不胜感激，以下是我尝试过的。我正在考虑使用种子来做这件事，但我遇到了很多问题。这些是我尝试过的步骤：

我下载了 ctorrent 来创建种子和种子并下载它。我遇到了问题，因为我没有追踪器。
我发现 qbittorrent-nox 有一个嵌入式跟踪器，所以我在我的一个节点上下载了它并设置了跟踪器。
我现在使用我创建的跟踪器创建了 torrent，并将其复制到我的节点。
当我在带有实际数据的节点上运行带有 ctorrent 的 torrent 以播种我得到的数据时：
```
 Seed for others 72 hours
 - 0/0/1 [1/1/1] 0MB,0MB | 0,0K/s | 0,0K E:0,1 Connecting
```
当我在其中一个节点上运行以下载我得到的数据时：
```
 - 0/0/1 [0/1/0] 0MB,0MB | 0,0K/s | 0,0K E:0,1
```
所以他们似乎没有连接到跟踪器，但我不知道为什么

我可能做错了什么，但我想不通。如果有人可以帮助我完成我正在做的事情，或者有任何有效地分发数据的方式，即使不是使用种子，我会很高兴听到。

提前感谢您提供的任何帮助。

【问题讨论】：

如果集群节点在同一个局域网内，则根本不需要跟踪器，只需要支持LSD的客户端即可。至于连接问题，您的问题中没有足够的信息，所以我们只能提供猜测。
看看github.com/lg/murder这是一个使用Twitter开发的BitTorrent大规模服务器部署的解决方案视频：vimeo.com/11280885
感谢您的快速回复！ the8472 - 如何检查具有该文件的客户端是否支持 LSD，如果支持，我该如何运行它？除了对协议是什么的解释外，我在 google 上找不到任何关于如何使用它的解释，也无法在 ctorrent 中找到对它的引用。而且我不明白当我创建种子时是否将 LSD IP 放在跟踪器 URL 的位置？
Encombe - 我之前也看过谋杀，但对我来说似乎有点过于复杂，因为我以前从未使用过 Capistrano，我发现自己陷入了一个兔子洞，但我会再试一次。
LSD 在其他任何地方都被称为 LPD - Local Peer D发现。另请注意，bittorrent 协议在设计时根本没有考虑到隐私，因此如果您需要将数据保密，则需要非常早熟。

标签： cluster-computing file-transfer bittorrent

【解决方案1】：

但是应该播种的节点认为它有 0% 的文件，所以它没有播种。

如果您使用工具 A 创建了一个元数据文件 (.torrent)，然后想使用工具 B 为其播种，那么您需要将 B 指向元数据和数据（内容文件）本身。

我知道现在这是一个不同的问题，可能需要一个不同的主题，但我希望你能有想法。

您应该创建一个新问题，该问题将有更多空间供您提供详细信息。

【讨论】：

【解决方案2】：

所以这很尴尬，我可能已经让它工作了一段时间，但从一开始我确实改变了我的实现。我刚刚重新检查了一下，我传输的文件在我之前的一次尝试中被损坏了，从那以后我一直在使用它们。

所以总结一下，如果其他人最终需要相同的设置，这对我有用：我使用“transmission-create /path/to/file/or/directory/to/be/torrented -o /path/to/output/directory/output_file_name.torrent”创建种子（这是因为 qbittorrent-nox 不提供我可以找到创建种子的工具）我使用实际文件在计算机上运行 torrent，因此它将使用“qbittorrent-nox ~/path/to/torrent/file/name_of_file.torrent”播种我将 .torrent 文件复制到所有节点并运行“qbittorrent-nox ~/path/to/torrent/file/name_of_file.torrent”开始下载

我需要配置的 qbittorrent 设置：在“下载”中，将“将文件保存到位置”更改为将要播种的节点中数据的位置#否则该节点将不知道它具有种子中指定的文件并且不会播种它们。

为了避免种子有时开始排队并需要“强制恢复”的问题。不过，这似乎并没有 100% 解决问题

在“速度”选项卡中取消选中“启用带宽管理 (uTP)”
取消选中“对 uTP 连接应用速率限制”
在“BitTorrent”选项卡中取消选中“Torrent Queueing”

感谢所有的帮助，很抱歉我无缘无故地打扰了人们..

【讨论】：