java.lang.OutOfMemoryError：Java 堆空间 - blobstoreService

Question

我正在尝试从存储在 Google Cloud Storage 上的文件中读取字节并将其发送到 HTTP POST 请求中，但我使用 较大的文件 处理此异常，代码正在运行小文件：

在这一行抛出异常：

writer.write(blobstoreService.fetchData(new BlobKey(video.getBlobkey()), start, end));

这是我的代码：

    URLConnection connection = new URL("http://myurl.com/").openConnection();
    //set time out to infinite
    connection.setConnectTimeout(0);
    connection.setDoOutput(true);
    connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
    BufferedOutputStream writer = null;
    OutputStream output = connection.getOutputStream();
    writer = new BufferedOutputStream(output); // true = autoFlush, important!

    //........

    BlobInfoFactory blobInfoFactory = new BlobInfoFactory();
    BlobInfo blobInfo = blobInfoFactory.loadBlobInfo(new BlobKey(video.getBlobkey()));
    Long blobSize = blobInfo.getSize();
    //max read on fetch
    long maxReadFetch = 1015807;
    //read the file in one time temporary
    long i = 0;
    long start = 0;
    long end = 0;
    while(i < blobSize) {
        start = i;
        end = i + maxReadFetch;
        //determine end
        if(end > blobSize) {
            end = blobSize;
        } else {
            end--;
        }
        writer.write(blobstoreService.fetchData(new BlobKey(video.getBlobkey()), start, end));

        i += maxReadFetch;
    }
    writer.flush(); // Important! Output cannot be closed. Close of writer will close output as well.
} finally {
    if (input != null) try { input.close(); } catch (IOException logOrIgnore) {}
}

堆栈跟踪：

来自 servlet java.lang.OutOfMemoryError 的未捕获异常：Java 堆 java.util.Arrays.copyOf(Arrays.java:2961) 处的空间 java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:111) 在 com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection$BufferingOutputStream.write(URLFetchServiceStreamHandler.java:460) 在 java.io.BufferedOutputStream.write(BufferedOutputStream.java:122) 在 java.io.FilterOutputStream.write(FilterOutputStream.java:97) 在 控制器.CtrlWistia.upload(CtrlWistia.java:200) 在 控制器.CtrlWistia.add(CtrlWistia.java:126) 在 控制器.CtrlWistia.ajax(CtrlWistia.java:79) 在 控制器.CtrlAjax.main(CtrlAjax.java:66) 在 vidaao.AjaxServlet.doPost(AjaxServlet.java:37) 在 javax.servlet.http.HttpServlet.service(HttpServlet.java:637) 在 javax.servlet.http.HttpServlet.service(HttpServlet.java:717) 在 org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1166) 在 org.tukey.web.filters.urlrewrite.RuleChain.handleRewrite(RuleChain.java:176) 在 org.tukey.web.filters.urlrewrite.RuleChain.doRules(RuleChain.java:145) 在 org.tukey.web.filters.urlrewrite.UrlRewriter.processRequest(UrlRewriter.java:92) 在 org.tukey.web.filters.urlrewrite.UrlRewriteFilter.doFilter(UrlRewriteFilter.java:394) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157) 在 com.google.apphosting.utils.servlet.ParseBlobUploadFilter.doFilter(ParseBlobUploadFilter.java:125) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157) 在 com.google.apphosting.runtime.jetty.SaveSessionFilter.doFilter(SaveSessionFilter.java:35) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157) 在 com.google.apphosting.utils.servlet.TransactionCleanupFilter.doFilter(TransactionCleanupFilter.java:43) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1157) 在 org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:388) 在 org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216) 在 org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182) 在 org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:765) 在 org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:418) 在 com.google.apphosting.runtime.jetty.AppVersionHandlerMap.handle(AppVersionHandlerMap.java:266) 在 org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)

Answer 1

请注意，即使您一次读取的数据少于 1MB，您也会将该数据写入到 OutputStream，它会一直保存在内存中，直到您提交请求。

根据docs：

App Engine 的 URLConnection 实现不保持与远程主机的持久连接。当应用设置请求数据或写入输出流时，请求数据会保存在内存中。当应用程序访问有关响应的任何数据时，例如获取输入流（或调用 connect() 方法），App Engine 使用请求数据调用 URL Fetch 服务，获取响应，关闭连接并返回响应数据.