是否可以使用 libcurl 同时下载和 POST 与 multipart/form-data 相同的文件？

Question

也许这是一个愚蠢的问题，因为我正在试验 libcurl，也可能是不可能做到的情况。让我先描述一下我想要实现的行为。

假设我想下载一些文件，我可以逐个请求这个文件，直到我得到整个文件。现在，不是将这些数据存储到一个临时文件中，而是每次我得到这些片段或块中的一个时，我想将这个片段上传到另一台服务器。两台服务器都是 HTTP 服务器，第二台只接受文件的上传，使用带有multipart/form-data 的 POST。 我有一个想法，但我无法让它发挥作用，仍然不确定它是否可能。我的想法是模仿我在question 中找到的解决方案，但在这里他们使用命令行 curl 来完成，第二台服务器是 FTTP 服务器。

所以想法是创建一个管道，并使用这个管道将片段传递给负责上传的部分。让我们给你看一个草图，以防你迷失在我糟糕的英语中：

也许根本不需要 管道，因为 libcurl 允许您访问正在下载的这些数据块，就像在 getinmemory example 中一样，但是我不知道是否可以将这些片段传递到一个 multipart/form-data 请求中，而不会将数据存储到文件中，然后告诉 libcurl 上传该文件。

正如我之前所说，我尝试使这种管道解决方案起作用，但无法使其起作用。让我展示我不完整的代码，让你有一个具体的想法：

#include <stdlib.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/wait.h>
#include <curl/curl.h>

#define WE 1
#define RE 0



/*down_up video*/
CURLcode down_up(void)
{
  CURLcode ret;
  const char *url_down = "http://localhost:4000/static/videos/1.mp4";
  const char *url_up = "http://localhost:4000/upload";

  int pdf[2]; /*write end and read end*/

  if(pipe(pdf) == -1)
    errExit("pipe");

  pid_t pid = fork();
  switch(pid) {
  case -1:
    errExit("ok");
  case 0:
    /*closing unused WE in child proccess*/
    if(close(pdf[WE]) == -1)
      errExit("Close");
    break;
  default:
    /*parent process*/
    /*closing the RE on parent proccess*/
    if(close(pdf[RE]) == -1)
      errExit("Close");
    break;
  }

  switch(pid) {
  case -1:
    errExit("ok");
  case 0:
    /*child process*/
    CURL *curl_up;
    curl_up = curl_easy_init();
    curl_easy_setopt(curl_up, CURLOPT_URL, url_up);
   /*upload file with multipart/form-data, reading chunks from pipe*/

    break;
  default:
    /*parent process*/
    CURL *curl_down;
    curl_down = curl_easy_init();
    curl_easy_setopt(curl_down, CURLOPT_URL, url_down);
    /*download file, and writing pieces into the pipe*/

    break;
  }


  curl_easy_cleanup(curl_down);
  curl_easy_cleanup(curl_up);
  curl_down = NULL;
  curl_up = NULL;
  return ret;
}

int main(void)
{
  CURLcode ret;
  ret = download_upload();
  if(ret != CURLE_OK)
    return 1;
  return 0;
}

这里我尝试使用parent process 下载，并使用child process 上传。为了将数据从父进程传递给子进程，我关闭了parent process中PIPE的Read end(RE)，同时也关闭了Write end(WE) child process 中的 PIPE。我们得到这样的结果：

但仍然不知道如何安排这一切。这甚至可能吗？

Answer 1

是的，这当然是可能的。

基本功能可以这样工作。两个线程：

1. 文件的下载将其存储在内存中，或多或少地附加到缓冲区。我们称它为“下载缓冲区”。如果下载缓冲区变得太大，现实生活中的实现可能会暂停传输。即如果上传端比下载端慢很多。

2. 在多部分表单中上传文件是在一个单独的线程中完成的，并使用 libcurl 的 CURLOPT_MIMEPOST 选项来创建帖子正文。从内存上传文件的部分是使用curl_mime_data_cb 创建的，因此当 libcurl 想要为该部分上传数据时，会调用您提供的回调函数。然后，您的回调将提供第 1 步中提到的“下载缓冲区”中的数据。如果没有可用数据，回调可能只是等到有数据后再返回。