在微服务之间共享文件

Question

我正在尝试将项目从其当前的单体状态转移到微服务架构。该项目位于 Node.js 中，因此我开始研究 Seneca.js，尤其是其 seneca-mesh 模块。将图像操作（裁剪、调整大小等）移动到微服务中似乎是最明智的第一步，因为它现在大大降低了我的应用程序的速度。

当应用程序是单体应用程序时，将某些文件传递到文件操作逻辑中没有问题——只需从本地存储磁盘读取即可。然而，对于微服务，如果我们牢记可扩展性，它就会变得更加困难。当然，我可以构建一个图像处理微服务，在同一台主机上进行扩展，并在它之间共享我需要的目录，这样它们也可以从本地磁盘读取。

如果我想要一个真正可扩展的微服务，它可以在不同具有不同 IP 地址且不共享相同文件系统的机器上运行和扩展？我想也许我可以利用 Node 的流 API 并通过 HTTP 或 TCP 或套接字来回发送这些文件。

据我所知，Seneca.js 无法以正确的方式。当然，我可以通过 Seneca.js 将文件从主应用程序发送到图像处理服务，如下所示：

fs.createReadStream('/files/hello.jpg')
  .on('data', function(data) {
    seneca.act({ role: 'file', cmd: 'chunk', data: data }, cb);
  })
  .on('end', function(err) {
    seneca.act({ role: 'file', cmd: 'end' });
  })
  .on('error', function(err) {
    seneca.act({ role: 'test', cmd: 'error' });
  });

并分块接收：

seneca.add({ role: 'file', cmd: 'chunk' }, writeToFileCb);
seneca.add({ role: 'file', cmd: 'end' }, endFileWriteCb);

但这种方法看起来很丑陋，而且还需要重新发明。

另一种方法是提供一些 HTTP 服务器并将文件发送为 multipart/form-data 或 application/octet-stream，如下所示：

fs.createReadStream('file.json')
  .pipe(request.post('http://image-manipulator'))

但这意味着重新发明微服务通信的框架。总而言之，我就分布式微服务之间的文件共享以及可能的框架寻求建议。

Answer 1

如果您正在使用微服务架构，您应该考虑使用微服务来管理文件！如果您是微服务环境，请不要流式传输文件。 例如，您可以创建一个 FileManagerService，其 API 公开用于 CRUD 实现，并且仅使用 seneca act/add 来提供重要数据...文件 URL、大小等。

Answer 2

如果您使用 Seneca，我强烈建议您阅读 The Tao of Microservices，作者是 Seneca 本人的 Richard Rodger。

他以这种方式直接解决您的问题（第 3 章第 15 节）：

带宽很重要。

微服务系统的网络特性意味着它们很容易受到带宽限制。即使你从充足的供应开始，你也必须采取稀缺的心态。行为不端的微服务很容易导致内部产生的拒绝服务攻击。 让您的信息小而精巧。不要使用它们发送大量实际数据，而是发送对批量数据存储的引用。 [...]

要在服务之间发送图像，不要发送图像二进制数据，发送指向图像的 URL。

回到您的具体情况，您应该使用允许您存储/检索文件的服务，并在您的 Seneca 服务之间的消息中仅传递文件的 URL。以纯粹的分布式方式构建这样的系统并非易事，因此我宁愿使用 AWS S3 或同等产品。