【问题标题】:display the contents of a folder using kafka使用 kafka 显示文件夹的内容
【发布时间】:2016-05-30 08:10:02
【问题描述】:

我有一个包含两个文件的文件夹,我想显示两个文件的名称,当我添加另一个文件时,我也会显示它们的名称。我的问题是,我可以用 Kafka 做到这一点吗?

【问题讨论】:

  • 你告诉我们你想完成什么?用例是什么?为什么你认为 Kafka 是解决你“问题”的好选择?
  • 我正在寻找大数据领域的解决方案,以检测明确定义的目录中是否存在新文件。在我们的例子中,这个目录是我们的输入。检测后我必须显示文件名和他的继续
  • 您希望这些文件在一天内(总共)有多少?
  • 它们是由电信运营商的 MSC 生成的 CSV 文件,因此每天大约两三百万

标签: apache-kafka


【解决方案1】:

它使用kafka的奇怪案例。我认为这应该通过添加一个 apache 水槽来完成。 Flume 可以合并目录,当发现新文件时,将其发送到 kafka,然后处理此消息以恢复文件名。

它解决了你的问题?

【讨论】:

  • 我不知道该怎么做,所以我不确定他能不能解决我的问题
  • @G.Saleh 好吧,您是否希望得到一个您已经“知道该怎么做”的答案?
  • 如果我知道他在 Kafka 上可以完成,我可以工作,我相信我会到达
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-08-23
  • 1970-01-01
  • 2012-03-22
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多