streamsets 有一个directory的origin 可以方便的进行文件的处理,支持的格式也比较多,使用简单

pipeline flow

streamsets excel 数据处理

配置

  • excel 数据copy

    因为使用的是容器,会有数据copy 容器的一步

容器id 结合实际查询:
docker cp data/ containerid:/data/excel
  • 配置directory
    streamsets excel 数据处理
    streamsets excel 数据处理
  • local fs 配置
    streamsets excel 数据处理

运行

  • excel 数据格式
    streamsets excel 数据处理
  • 运行效果
    streamsets excel 数据处理
    streamsets excel 数据处理

参考资料

https://github.com/rongfengliang/streamsets-demos
https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Origins/Directory.html#concept_qcq_54n_jq

 
 
 
 

相关文章:

  • 2022-02-02
  • 2022-12-23
  • 2021-04-07
  • 2022-02-11
  • 2021-12-01
  • 2022-12-23
  • 2021-09-15
  • 2021-09-13
猜你喜欢
  • 2021-06-01
  • 2021-12-19
  • 2021-12-11
  • 2021-11-26
  • 2021-06-11
  • 2022-02-03
  • 2021-12-26
相关资源
相似解决方案