这两天一直在写spark程序，遇到了一个奇怪的问题。
问题简单描述如下，有两个RDD，设为rdd_a,rdd_b,当将这两个rdd合并的时候，spark会在运行中卡死。
解决方式也是奇葩。
只要在合并这两个rdd之前，分别执行rdd_a.count(),rdd_b.count()，程序就又能够愉快的走下去了。
也就是说如果在转换操作的时候程序运行卡死，请尝试在转换操作之前，先对RDD进行行动操作。
参考：
相关文章：
相似解决方案
热门标签
这两天一直在写spark程序，遇到了一个奇怪的问题。
问题简单描述如下，有两个RDD，设为rdd_a,rdd_b,当将这两个rdd合并的时候，spark会在运行中卡死。
解决方式也是奇葩。
只要在合并这两个rdd之前，分别执行rdd_a.count(),rdd_b.count()，程序就又能够愉快的走下去了。
也就是说如果在转换操作的时候程序运行卡死，请尝试在转换操作之前，先对RDD进行行动操作。
参考：
相关文章：