【问题标题】:How to integrate Hadoop with SharePoint?如何将 Hadoop 与 SharePoint 集成?
【发布时间】:2013-04-17 09:26:15
【问题描述】:

由于我需要以更快的处理速度和更高的可扩展性来存储大量数据,所以我为此选择了 hadoop,但我也需要数据协作,我知道共享点是它的最佳候选者。

请告诉我如何将 sharepoint 与 hadoop 集成。
我知道用于 SQL Server 与 Hadoop 集成的 SSIS,但我需要实时示例,以便找到确切的解决方案。

【问题讨论】:

  • 您需要更清楚自己的要求。您想以哪种方式移动数据?您是否希望 Hadoop 集群上的 Map/Reduce 作业的结果一旦可用就在 SharePoint 上发布?您是否希望用户通过 SharePoint 向 Hadoop 数据提交一些按需查询?
  • 您的所有用户都应该能够访问服务器 hadoop 是一个,并且所有数据协作都应该在那里完成。

标签: sharepoint hadoop integration bigdata collaboration


【解决方案1】:

设置 HDFS NFS 网关并复制 Sharepoint 文件。您还可以使用基本脚本将文件放入 HDFS。它需要使用可以访问 SharePoint 存储库和 HDFS 客户端的边缘节点。

HDFS NFS 网关:https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

HDFS PUT:https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/FileSystemShell.html#put

如果您已经使用 HDP 并且它与 Ambari 一起安装,HDFS NFS 网关只是通过 Ambari 添加的另一个服务。

【讨论】:

    猜你喜欢
    • 2014-10-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-03-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多