【问题标题】:Is it possible to dynamically produce large files (10Gb) and stream them to the client?是否可以动态生成大文件(10Gb)并将它们流式传输到客户端?
【发布时间】:2016-11-18 00:32:05
【问题描述】:

是否可以动态生成大文件(10Gb+)供客户端下载?

我正在构建一个动态创建文件并将它们下载到客户端的 web 应用程序。我通过创建一个数据块并使用 objectUrl 下载它们来实现这一点。

(示例来自:Download large files in Dartlang):

import 'dart:html';

void main() {
  var data = new Blob(['Hello World!\n'*1000000]);
  querySelector("#downloadLink")
      ..setAttribute('href', Url.createObjectUrl(data));
}

但是,这不适用于大文件。 有没有办法将文件流式传输到客户端,或者将数据附加到文件中,以便可以逐段生成文件,而不是在下载之前生成整个文件?

【问题讨论】:

  • Chrome 中有一个最大字符串长度 - see this post
  • 但它不适用于List<String> because we're running out of memory then ...
  • 您可以流式传输。我在这里使用它来使用 Docker 服务 github.com/bwu-dart/bwu_docker/blob/… 但它是 dart:io 代码,但可能会帮助您获得一些想法。
  • 我怀疑最大字符串长度会是个问题。我通过将先前构造的 blob 与新的小字符串组合来构造我的 Blob。
  • @GünterZöchbauer 如果我可以触发浏览器保存文件,看起来 HTTP 响应流可能会起作用。如果可行,我会从客户端流式传输到自身,因为我没有后端。

标签: javascript html google-chrome dart


【解决方案1】:

对于 FileSaver,但对于 10GB+,您将需要 StreamSaver 之类的东西(它只适用于 Blink doe)16GB+ 对我来说没有任何问题

const fileStream = streamSaver.createWriteStream('filename.txt')
const writer = fileStream.getWriter()
const encoder = new TextEncoder()

// When you have any data you write it as Uint8array
let data = 'a'.repeat(1024)
let uint8array = encoder.encode(data + "\n\n")

writer.write(uint8array) // chunk
writer.write(uint8array) // chunk
writer.write(uint8array) // chunk
writer.write(uint8array) // chunk

// After you have written all bytes you need to close it
writer.close()

(只是不要一次写入所有块,随着您获得更多可用数据逐步执行)

【讨论】:

  • 这似乎是我需要的。我还没有测试过;我将首先将它包装在 Dart 中。在那之前,这似乎回答了我的问题,谢谢!
  • 我刚刚注意到的一件事是 StreamSaver.js 仅支持 Chrome 52+ 和 Opera 39+
  • 这就是我所说的(仅闪烁...)
  • @Aro 你有没有根据需要让它工作?如果是这样,您是否介意分享更多关于如何回答这个问题(stackoverflow.com/questions/51006619/…
  • @Gary 不幸的是我没有完全弄清楚。我在做一个业余项目时问过,然后在没有完成这个问题的情况下转移到其他任务。
猜你喜欢
  • 1970-01-01
  • 2015-11-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-12-21
  • 1970-01-01
  • 2022-01-12
  • 1970-01-01
相关资源
最近更新 更多