在 pig 活动中运行 Shell 脚本 - Azure 数据工厂答案

【问题标题】：Running Shell script inside pig activity - Azure data factory在 pig 活动中运行 Shell 脚本 - Azure 数据工厂
【发布时间】：2018-06-05 19:43:10
【问题描述】：

您好，我有一个 shell 脚本，我正在尝试将它作为 azure 数据工厂中的猪活动运行。猪脚本内容是

sh containername/testshell.ksh

它会抛出“没有这样的文件或目录”。我也尝试使用完整路径，但没有成功。

有人可以就如何给出正确的路径提供一些意见。

【问题讨论】：

也许这个link可以帮助你。
@Walter-MSFT 感谢您的关注。该链接是关于如何从 linux shell 启动 pig 作业，我的是相反的，我试图在 pig 脚本中运行 shell 脚本。我正在创建一个按需 hadoop 集群来执行任务
听起来您正在尝试做一些 ADF 并非真正设计的事情。使用自定义活动而不是猪作业可能会更好。

【解决方案1】：

将 shell 脚本上传到 blob 存储，然后将该脚本调用到 pig 或 hive。以下是步骤。

蜂巢：

!sh hadoop fs -ls    
wasbs://contyaineName@StorageAccountName.blob.core.windows.net/pathToScript/testshell.ksh`

猪

sh hadoop fs -ls 
wasbs://contyaineName@StorageAccountName.blob.core.windows.net/pathToScript/testshell.ksh`

【讨论】：

【解决方案2】：

尝试以下解决方案：

sh bash containername/testshell.ksh

并确保输入相应的 shebang 指令。

【讨论】：