Spark 流的批量查找数据

Question

我需要从 HDFS 上的文件中查找 Spark 流作业中的一些数据 此数据由批处理作业每天获取一次。
这样的任务是否有“设计模式”？

• 如何在 a
  之后立即重新加载内存中的数据（哈希图） 每日更新？
• 如何在查找数据时持续提供流式作业
  被取走？

Answer 1

一种可能的方法是删除本地数据结构并改用有状态流。假设您有一个名为mainStream 的主数据流：

val mainStream: DStream[T] = ???

接下来您可以创建另一个读取查找数据的流：

val lookupStream: DStream[(K, V)] = ???

还有一个可以用来更新状态的简单函数

def update(
  current: Seq[V],  // A sequence of values for a given key in the current batch
  prev: Option[V]   // Value for a given key from in the previous state
): Option[V] = { 
  current
    .headOption    // If current batch is not empty take first element 
    .orElse(prev)  // If it is empty (None) take previous state
 }

这两个部分可以用来创建状态：

val state = lookup.updateStateByKey(update)

剩下的就是键入mainStream并连接数据：

def toPair(t: T): (K, T) = ???

mainStream.map(toPair).leftOuterJoin(state)

虽然从性能的角度来看，这可能不是最佳的，但它利用了现有的架构，让您无需手动处理失效或故障恢复。