streaming简介

• mapreduce和hdfs采用java实现，默认提供java编程接口
• streaming框架允许任何程序语言实现的程序在hadoop mapreduce中使用
• streaming方便已有的程序向hadoop平台移植

streaming原理图

 

streaming局限

• streaming默认只能处理文本数据，如果要对二进制数据进行处理，比较好的方法是将二进制的key和value进行base64的编码转化成文本即可。
• 两次数据拷贝和解析，带来一定的开销。