【问题标题】:Spark with python script from console not working no errors来自控制台的带有 python 脚本的 Spark 无法正常工作没有错误
【发布时间】:2022-10-20 02:04:28
【问题描述】:

嗨,我遇到了这个奇怪的问题。我是 spark 新手,刚刚安装了 spark 和 java,使环境变量和 spark 似乎工作正常。我可以输入 spark 控制台形式的 cmd 并编写 print 等。它的工作。

但是当我尝试做bin\spark-submit C:\Users\User\Desktop\Big_Data\pi.py其中 pi.py 只是示例表单文档,它显示了这一点:enter image description here。几乎就像火花在工作但没有执行python文件一样......

我还尝试了不同的 python 文件,例如:enter image description here 使用命令:C:\Users\User\spark-3.1.2-bin-hadoop2.7>bin\spark-submit C:\Users\User\Desktop\Big_Data\try.py C:\Users\User\Desktop\Big_Data\pg100 。文本

结果如下: enter image description here

没有输出,错误,什么都没有,也许有人知道出了什么问题???

澄清:调用spark表单cmd控制台时基本没有输出或执行python文件

【问题讨论】:

  • 请澄清您的具体问题或提供其他详细信息以准确突出您的需求。正如它目前所写的那样,很难准确地说出你在问什么。

标签: python apache-spark pyspark cmd spark-submit


【解决方案1】:

看看Spark's Quick Start Guide examples,你能运行这个命令吗:

binspark-submit --master local C:UsersUserDesktopBig_Datapi.py

有关 spark-submit 的更多信息,请访问 here

【讨论】:

    猜你喜欢
    • 2019-05-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-04-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-02-04
    相关资源
    最近更新 更多