【问题标题】:what is the difference between the methods getvalue() and value() in spark broadcast variablesspark广播变量中的getvalue()和value()方法有什么区别
【发布时间】:2017-02-16 10:37:42
【问题描述】:

我在 spark java 中创建了广播变量并在它们上调用了 destroy() 方法 当我使用 get value() 方法时,我仍然能够访问变量,但是当我使用 value 方法时,它会抛出错误,这是正确的

【问题讨论】:

    标签: apache-spark broadcast


    【解决方案1】:

    广播变量是只读的

    来自他们的文档

    "广播变量创建后,在集群上运行的任何函数中都应该使用它来代替值v,这样v不会被多次传送到节点。另外,对象v不应该被修改在它被广播之后,以确保所有节点都获得相同的广播变量值(例如,如果变量稍后被运送到新节点)。”

    【讨论】:

      猜你喜欢
      • 2012-05-07
      • 1970-01-01
      • 1970-01-01
      • 2020-06-15
      • 1970-01-01
      • 1970-01-01
      • 2017-02-16
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多