使用 Google Cloud Functions Node JS 10 仅从特定存储桶目录复制事件驱动的文件

Question

我得到了一个事件驱动的 Google Cloud Function (Node JS 10) 的帮助，可以将文件复制到另一个 Google Cloud Storage 存储桶中，并希望能更进一步。

我需要过滤这些触发器文件以仅从一个文件夹及其子目录复制文件，而不是整个存储桶中的任何文件。

所以为免生疑问，如果我有：

bucket-a/folder-1/folder-a/folder-x

bucket-a/folder-2/folder-b/folder-y

bucket-a/folder-3/folder-c/folder-z

我想复制所有登陆 bucket-a/folder-2/folder-b 及其所有子目录的文件。

但不要复制位于文件夹 1、文件夹 3 或其任何子目录中的任何文件。

只是不确定在何处或如何将“if”参数引入已经运行良好的内容。

这是目前为止的代码：

const {Storage} = require('@google-cloud/storage');
const {path} = require('path');

exports.helloGCS = (event, context) => {
  const storage = new Storage();
  const gcsEvent = event;
  const sourceFileBucket = gcsEvent.bucket
  const sourcePathOnly = gcsEvent.name
  const sourceFolder = sourcePathOnly.split('/').slice(-2) 
  const destFileBucket = 'my_dest_bucket'

  storage
  .bucket(sourceFileBucket)
  .file(sourcePathOnly)
  .copy(storage.bucket(destFileBucket).file(sourceFolder[0] + '/' + sourceFolder[1])); 

};

任何帮助将不胜感激。

---

这是给我 sourcePathOnly 未定义错误的当前代码，并且还在根目录下创建了两个文件夹，folder-2 和 folder-b：

const {Storage} = require('@google-cloud/storage');
const {path} = require('path');

exports.helloGCS = (event, context) => {
    const gcsEvent = event;
    const storage = new Storage()


  // Process only if it's in the correct folder
  if (sourcePathOnly.indexOf('folder-2/folder-b') > -1) {

    const sourcePathOnly = gcsEvent.name
    const sourceFileBucket = gcsEvent.bucket
    const sourceFolder = sourcePathOnly.split('/').slice(-2) 
    const destFileBucket = 'my_dest_bucket'

    storage
    .bucket(sourceFileBucket)
    .file(sourcePathOnly)
    .copy(storage.bucket(destFileBucket).file(sourceFolder[0] + '/' + 
    sourceFolder[1])); 
  }
}

Answer 1

Cloud Storage 和 Cloud Storage 上的事件功能非常强大。但是，您无法设置触发事件的条件。

顺便说一句，你必须在你的代码中设置一个“手动过滤器”

exports.helloGCS = (event, context) => {
  const gcsEvent = event;
  const sourcePathOnly = gcsEvent.name

  // Process only if it's in the correct folder
  if (sourcePathOnly.indexOf('folder-2/folder-b') > -1) {
    const storage = new Storage();
    const sourceFileBucket = gcsEvent.bucket
    const sourceFolder = sourcePathOnly.split('/').slice(-2) 
    const destFileBucket = 'my_dest_bucket'

    storage
    .bucket(sourceFileBucket)
    .file(sourcePathOnly)
    .copy(storage.bucket(destFileBucket).file(sourceFolder[0] + '/' + 
    sourceFolder[1])); 
  }
}

现在您只处理来自您想要的 src 路径的文件。

不好的是，您的函数将在存储桶中创建的每个文件上触发，因此您的函数将启动、执行检查并退出。您将因为什么都不做而收取 100 毫秒的处理费用。 我已经提出了关于这个主题的功能请求。

Answer 2

存储桶的工作方式与文件系统不完全相同，您可以在link 上查看 Google Cloud Storage 结构和层次结构信息。

为了能够过滤您指定的需要，我建议您列出存储桶中的所有对象，然后从您想要的文件夹中过滤您需要的对象。

当您将某些内容存储在存储桶中时，格式将是这样的：

gsutil 将使用 delimiter="/" 和 prefix="abc" 为指定存储桶发出存储桶列表请求。然后会检查bucket列表结果，判断bucket中是否有路径以gs://your-bucket/abc/开头的对象，判断是把target当作对象名还是目录名。反过来，这会影响您创建的对象的名称：如果上述检查表明存在“abc”目录，您最终将得到对象 gs://your-bucket/abc/your-file；否则你会得到对象 gs://your-bucket/abc。

希望这对您有所帮助。告诉我。