【问题标题】:Is there a way to send batches of Azure stream analytics data to a python ML pipeline?有没有办法将批量 Azure 流分析数据发送到 python ML 管道?
【发布时间】:2018-03-16 00:33:12
【问题描述】:
我想对通过事件中心的流分析传入的数据执行一些机器学习任务。但是,我的大部分数据处理管道和预测服务都在 python 中。有没有办法将时间分块数据发送到 python 脚本中进行处理?
Azure ML studio 函数不适合我的需要,因为它似乎适用于单行数据,而流分析中可用的聚合函数似乎不适用于这些数据。
【问题讨论】:
标签:
python
azure
machine-learning
azure-stream-analytics
【解决方案1】:
通过最近推出的与 Azure 函数的集成,您或许可以做到这一点。试试那条路。
This link 描述了创建一个 azure 函数。您必须创建一个 Http 触发器并选择 python 作为语言。还有多种语言的模板。
This question 还提供有关功能的其他详细信息。
【解决方案2】:
根据我的经验,您可以将数据放入Azure Storage。然后在Azure ML 中配置Import Data component 并连接Execute Python Script 作为输入数据。
或者您可以使用Azure Storage Python SDK 直接查询您的Execute Python Script 中的数据。
但是,上述两种方法一次只能处理部分数据,所以只能在experimental stage使用。
如果需要继续处理数据,建议使用web service组件。
您可以将查询数据和处理结果的逻辑代码放入web service。请参考此official tutorial部署您的web service。
希望对你有帮助。