AKKA HTTP 源流与期货

Question

我在 Cassandra 表中分片了一个大型视频文件。我正在尝试通过使用Source 流将其流式传输回 API 客户端。

我的服务代码如下所示，

def getShards(id: String, shards: Int) = {
  def getShardsInternal(shardNo: Int, shards: Future[Array[Byte]]): Future[Array[Byte]] = {
    if (shardNo == 0) shards
    else getShardsInternal(shardNo - 1, shards.flatMap(x => Database.ShardModel.find(id, shardNo)))
  }
  getShardsInternal(shards, Future.successful(Array()))
}

在我的 AKKA HTTP 路由中，我尝试从返回的未来构建一个Source，如下所示，

def getAsset = get {
  pathPrefix("asset") {
    parameters('id) { id =>
      complete {
        val f = mediaService.getMetadata(id).flatMap { x =>
          mediaService.getShards(id, x.shards)
        }
        Source.fromFuture(f)
      }
    }
  }
}

我不确定Source.fromFuture 是如何做出响应的。被传递的未来本质上是一系列平面映射的未来，预计将按顺序执行。但是，我不相信这会以分块字节流的形式返回给客户端。

对此的任何指示将不胜感激。

编辑 1 我一直在尝试通过以下方式进一步缩小范围，

get {
  pathPrefix("asset") {
    parameters('id) { id =>
      complete {
        Source.fromFuture {
          Future.successful("Hello".getBytes()).flatMap(x => Future.successful("World".getBytes()))
        }
      }
    }
  }
}

我期待这会返回

[72,101,108,108,111,32,87,111,114,108,100]

但是，我只得到最后一个未来的结果，如下所示，

[[87,111,114,108,100]]

亲切的问候 梅拉杰

Answer 1

将您的Source[Array[Byte], NotUsed] 转换为Source[ByteString, NotUsed]，并将HttpEntity 与ContentTypes 一起使用：

import akka.util.ByteString

def getAsset = get {
  pathPrefix("asset") {
    parameters('id) { id =>
      val f = mediaService.getMetadata(id).flatMap { x =>
        mediaService.getShards(id, x.shards)
      }
      val source = Source.fromFuture(f).map(ByteString.apply)
      complete(HttpEntity(ContentTypes.`application/octet-stream`, source))
    }
  }
}

这里我以application/octet-stream 为例。由于您正在流式传输视频，因此您可能需要使用 ContentType.Binary 和适当的 media type。例如：

complete(HttpEntity(ContentType.Binary(MediaTypes.`video/mpeg`), source))    

---

针对您的评论和更新，您似乎希望在getShards 中连接期货的结果：正如您所发现的，flatMap 不会这样做。请改用Future.reduceLeft：

def getShards(id: String, shards: Int): Future[Array[Byte]] = {
  val futures = (1 to shards).map(Database.ShardModel.find(id, _))
  Future.reduceLeft(futures)(_ ++ _)
}

或者，您可以重新定义getShards 以返回Future[List[Array[Byte]]]，然后使用flatMapConcat 创建Source，而不是将结果连接到单个数组中：

def getShards(id: String, shards: Int): Future[List[Array[Byte]]] = {
  val futures = (1 to shards).map(Database.ShardModel.find(id, _)).toList
  Future.sequence(futures)
}

def getAsset = get {
  pathPrefix("asset") {
    parameters('id) { id =>
      val f = mediaService.getMetadata(id).flatMap { x =>
        mediaService.getShards(id, x.shards)
      }
      val source =
        Source.fromFuture(f)
              .flatMapConcat(Source.apply)
              .map(ByteString.apply)
      complete(HttpEntity(/* a content type */, source))
    }
  }
}