通过流访问大对象 (LONGBLOB)答案

【问题标题】：Accessing large object (LONGBLOB) via a stream通过流访问大对象 (LONGBLOB)
【发布时间】：2019-01-03 12:16:36
【问题描述】：

我正在尝试使用数据库缓存作为缓存非常大的对象的一种方式，然后我想将这些对象流式传输而不是加载到内存中并返回。

为此，我尝试了以下方法：

我使用以下迁移创建了我的数据库缓存：

public function up() {
    Schema::create('cache', function (Blueprint $table) {
        $table->string('key')->unique();
        $table->longText('value');
        $table->integer('expiration');
    });
    DB::statement("ALTER TABLE `cache` MODIFY `value` LONGBLOB");
}

更改的原因是因为longText 不适用于我需要存储的通用二进制对象。

然后我尝试了以下代码来测试 blob 字段的流式传输：

public function test(Request $request) {
    cache()->store("database")
        ->put("randomStr", str_random(1024), 5); //Test string. Real cases are about 200 MB

    return response()->stream(function () {
        $fullKey = config("cache.prefix")."randomStr";
        $pdo = \DB::getPdo();
        $stmt = $pdo->prepare("select `value` from `cache` where `key`=:key");
        $stmt->bindParam("key", $fullKey);
        if ($stmt->execute()) {
            $stmt->bindColumn(1, $lob, \PDO::PARAM_LOB);
            $stmt->fetch(\PDO::FETCH_BOUND);
            fpassthru($lob);
        }
    });
}

此代码基于PHP: Large Objects 手册页。

但是我收到以下错误：

fpassthru() 期望参数 1 是资源，给定字符串

我检查了 $lob 参数，发现它是实际的字符串，而不是我希望的 LARGEBLOB 字段的流。

有什么方法可以让 BLOB 流在 Laravel 中工作？

注意：显然自 2007 年以来有 bug #40913 开放来解决这个问题，现在我提出了问题：

有没有办法使用PDO 或mysqli 或PHP 中的任何其他解决方法将LARGEBLOB 流式传输到响应？

【问题讨论】：

愚蠢的问题....但这不是 Jeremy Cook's 在手册页上的评论吗？
@CD001 可能。看到手册说它应该如何工作并且评论有点旧，我有点自动解雇它。我现在用谷歌搜索，似乎这个错误在过去 11 年里都存在。
11 年 .... 我认为它是某种超级蟑螂而不是虫子！

标签： php mysql laravel pdo

【解决方案1】：

好的，所以我想出了一个的方法来解决这个问题，但它并不漂亮，不是很远。

所以这里发生了一些事情。

首先我不得不改变我的cache()->driver(..)->put 方法来直接操作数据库。我这样做是因为通过数据库有一个序列化步骤，在将数据流式传输时我无法处理。此外，最后还要让插入成为流式操作，这样会更容易。
我安装了mysql命令行客户端
我构造了一个命令行界面命令，它将获取我想要的数据，通过正确的身份验证并构造查询以通过-e 传递。注意：我可能在通过escapeshellarg 转义shell 参数方面做得更好，但对于我来说，我无法让它处理反引号。另请注意 -N 参数，该参数旨在从结果中删除列标题。
我使用了proc_open，它允许将输入/输出流传递回PHP。我用它来将响应流式传输到浏览器。注意：我还定义了其他流，我不是proc_open 专家，所以我不知道这是否有必要。

这就是代码变成的样子：

public function test(Request $request) {
    $fullKey = config("cache.prefix")."randomStr";
    \DB::table("cache")
        ->updateOrInsert([
            "key" => $fullKey,
        ], [
            "value" => str_random(1024),
            "expiration" => Carbon::now(new \DateTimeZone("UTC"))->getTimestamp() + 5*60
        ]);
    return response()->stream(function () use ($fullKey) {
        $command = "/usr/bin/mysql";
        $arguments = [
            "-h ".config("database.connections.mysql.host"),
            "-P ".config("database.connections.mysql.port"),
            "-u ".config("database.connections.mysql.username"),
            "-p".config("database.connections.mysql.password"),
            "-D ".config("database.connections.mysql.database"),
            "-e \"SELECT \\`value\\` FROM \\`cache\\` WHERE \\`key\\`='$fullKey'\"",
            "-N"
        ];
        $p = proc_open($command." ".implode(" ",$arguments),[
            [ "pipe", "r"  ],
            [ "pipe", "w"  ],
            [ "pipe", "w"  ]
        ], $pipes);
        fpassthru($pipes[1]);
        fclose($pipes[0]);
        fclose($pipes[1]);
        fclose($pipes[2]);
        proc_close($p);
    });

}

这似乎可行，但并不漂亮。我可能会把它包装在某个地方，再也不用看它了，但我愿意接受任何可以做得更好的人的建议。

注意：所有这些只是为了解决一个已经存在 11 年的错误。我希望这实际上对其他人有所帮助。

【讨论】：