RPC：Remote Procedure Call
DRPC：Distributed RPC
Hadoop提供了RPC的实现机制，实现方法见：《》，本文主要介绍Storm的DRPC。
1、Storm DRPC工作流程
Storm的DRPC由DRPC Server和一个特殊的topology组成。DRPC Server主要起协调客户端和topology的作用，其接收客户端的请求，并将请求发送给topology，然后将topology的处理结果返回给客户端。
下面是官网给出的流程图：
1）客户端向DRPC Server发送请求，发送了想要执行的方法及其参数。
2）DRPC topology提供了一个特殊的spout DRPCSpout，DRPC Server将客户端的请求信息（函数、参数）发送给DRPCSpout，客户端请求进入了topology的处理。
3）DRPC topology的一系列bolt开始处理请求，最后一个bolt是ReturnResult，它负责将处理结果发送给DRPC Server。
4）DRPC Server将结果发送给客户端。
上面的流程也可以具体化为：
其中蓝色的bolt是需要用户自己定义的。
2、DRPC Server
(1)、编辑$STORM_HOME/conf/storm.yaml，配置drpc.servers，Storm会在配置的这些机器上启动DRPC Server
|
1
2
3
|
drpc.servers: - "vm1"
- "vm2"
|
注意：drpc.servers:前面不能有空格（yaml文件格式）
(2)、在上面配置的那些机器上运行DRPC Server
|
1
|
storm drpc |
3、DRPC topology
1）用户需要定义自己的bolt来执行自己的业务逻辑，如下面的MyBolt.java简单的将输入字符串转换成大写：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
|
package com.test.storm.bolt;
import backtype.storm.topology.BasicOutputCollector;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.topology.base.BaseBasicBolt;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Tuple;
import backtype.storm.tuple.Values;
public class MyBolt extends BaseBasicBolt{
private static final long serialVersionUID = 1L;
@Override
public void execute(Tuple input, BasicOutputCollector collector) {
try {
//input里有两个字段：{request:6170525749586968710,args:hello}
//request字段是Long类型, args是String类型
Long id = input.getLong(0);
System.out.println("request id: " + id);
String args = input.getString(1);
System.out.println("args: " + args);
String result = args.toUpperCase();
//如果这个bolt是最有一个用户的bolt，则必须是两个字段id、result
//如果是中间bolt，则第一个字段必须是id
//第一个字段是request的id，第二个字段是处理后的结果
collector.emit(new Values(id, result));
} catch (Exception e) {
e.printStackTrace();
}
}
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
//如果这个bolt是最有一个用户的bolt，则必须是两个字段，建议是id、result（经测试，字段名字可以随意）
//如果是中间bolt，则第一个字段必须是id
//后面的内置bolt会根据字段位置获取值，0、1
declarer.declare(new Fields("id", "result"));
}
} |
代码中需要注意的地方和解释。
2）构建topology
Storm提供了LinearDRPCTopologyBuilder类来创建这个特殊的topology，它的作用有：
a、创建DRPCSpout
b、创建ReturnResult，返回topology的处理结果
c、提供有限的聚合操作
|
1
2
3
|
LinearDRPCTopologyBuilder builder = new LinearDRPCTopologyBuilder(FUNC_NAME);
builder.addBolt(new MyBolt());
StormTopology drpcTopology = builder.createLocalTopology(drpcServer); |
4、运行模式
1）本地模式
本地模式会在一个进程中模式DRPC Server，不需要绑定到端口，必须使用LocalDRPC对象才能调用方法，本地模式仅供测试用。
LocalDRPCTest.java：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
package com.test.storm.drpc;
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.LocalDRPC;
import backtype.storm.drpc.LinearDRPCTopologyBuilder;
import backtype.storm.generated.StormTopology;
import com.test.storm.bolt.MyBolt;
public class LocalDRPCTest {
private static final String FUNC_NAME = "upper";
public static void main(String[] args) {
LocalDRPC drpcServer = new LocalDRPC();
LinearDRPCTopologyBuilder builder = new LinearDRPCTopologyBuilder(FUNC_NAME);
builder.addBolt(new MyBolt());
StormTopology drpcTopology = builder.createLocalTopology(drpcServer);
LocalCluster cluster = new LocalCluster();
Config config = new Config();
config.setDebug(true);
cluster.submitTopology("drpcupper", config, drpcTopology);
String result = drpcServer.execute(FUNC_NAME, "hello");
System.out.println("result: " + result);
drpcServer.shutdown();
cluster.shutdown();
}
} |
2）远程模式
RemoteDRPCTest.java如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
package com.test.storm.drpc;
import backtype.storm.Config;
import backtype.storm.StormSubmitter;
import backtype.storm.drpc.LinearDRPCTopologyBuilder;
import com.test.storm.bolt.MyBolt;
public class RemoteDRPCTest {
private static final String FUNC_NAME = "upper";
public static void main(String[] args) throws Exception {
LinearDRPCTopologyBuilder builder = new LinearDRPCTopologyBuilder(FUNC_NAME);
builder.addBolt(new MyBolt());
StormSubmitter.submitTopology("drpcupper", new Config(), builder.createRemoteTopology());
}
} |
在真实的Storm集群上运行，需要如下三个步骤：
(1)如上面(2、DRPC Server)说明的那样配置并运行DRPC Server
(2)提交DRPC topology到Storm集群上
|
1
|
storm jar drpc.jar com.test.storm.drpc.RemoteDRPCTest |
(3)客户端调用程序
DRPCClientTest:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
package com.test.storm.drpc;
import backtype.storm.utils.DRPCClient;
public class DRPCClientTest {
public static void main(String[] args) throws Exception {
DRPCClient client = new DRPCClient("vm1", 3772);
String result = client.execute("upper", "hellmmo");
System.out.println(result);
}
} |
5、补充
一次可以部署多个DRPC：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
package com.test.storm.drpc;
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.LocalDRPC;
import backtype.storm.drpc.LinearDRPCTopologyBuilder;
import backtype.storm.generated.StormTopology;
import com.test.storm.bolt.MyBolt;
public class LocalDRPCMutipleTest {
public static void main(String[] args) {
LocalDRPC drpcServer = new LocalDRPC();
LinearDRPCTopologyBuilder builder = new LinearDRPCTopologyBuilder("upper");
builder.addBolt(new MyBolt());
StormTopology drpcTopology = builder.createLocalTopology(drpcServer);
LinearDRPCTopologyBuilder builder2 = new LinearDRPCTopologyBuilder("upper2");
builder2.addBolt(new MyBolt());
StormTopology drpcTopology2 = builder2.createLocalTopology(drpcServer);
LocalCluster cluster = new LocalCluster();
Config config = new Config();
config.setDebug(true);
cluster.submitTopology("drpcupper", config, drpcTopology);
cluster.submitTopology("drpcupper2", config, drpcTopology2);
String result = drpcServer.execute("upper", "hello");
System.out.println("result1: " + result);
String result2 = drpcServer.execute("upper2", "hello");
System.out.println("result2: " + result);
drpcServer.shutdown();
cluster.shutdown();
}
} |