【问题标题】:get count of files from a folder in u-sql to process从 u-sql 中的文件夹中获取要处理的文件数
【发布时间】:2019-10-09 12:23:19
【问题描述】:

如何从 u-sql 中的文件夹(目录)中获取文件数

如果文件夹有多个文件,则仅处理最新文件,否则处理第一个文件!

【问题讨论】:

  • 当您的文件具有相同的命名(如 File1、File2、File3 等)时,这是可能的...所以在这种情况下,您可以尝试像 /someFolder/File{0}.csv 一样获取它。
  • 你能详细说明一下吗?

标签: azure-data-lake u-sql azure-stream-analytics azure-analytics


【解决方案1】:

正如我在 cmets 中所说,您可以执行以下操作:

DECLARE EXTERNAL @input string = @"/someFolder/{file}.csv";

@extractedData = EXTRACT file as string,
                         col1 as number,
                         col2 as string
                         FROM @input
                         USING new Extractors.Csv();

因此,您将提取文件夹中的所有文件并使用它,即使它是一个文件或多个文件。 您需要保证文件具有相同的结构,否则您的提取器会抛出类似

的错误

“预期为 3 列,但得到“x”列...

之后,您可以处理文件数据。

【讨论】:

  • 我想知道 u-sql 目录中的文件数。我们如何在 u-sql 中实现这一点?
猜你喜欢
  • 2019-12-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-02-06
  • 1970-01-01
  • 1970-01-01
  • 2011-01-29
相关资源
最近更新 更多