如何使用 PySpark 在 MySQL 中保存数据帧答案

【问题标题】：How to save data-frame in MySQL using PySpark如何使用 PySpark 在 MySQL 中保存数据帧
【发布时间】：2018-09-23 15:14:51
【问题描述】：

我是 Apache Spark 的新手。我有一个用例，我必须在 MySQL 中保存数据框数据。我得到了下面的代码来做同样的事情：

data_frame.write.format('jdbc').options(
    url='URI',
    driver='com.mysql.jdbc.Driver',
    dbtable=table_name,
    user=user_name,
    password='your_password').mode('append').save()

但是当我运行代码时，我得到了以下错误：

    File "/usr/local/Cellar/apache-spark/2.3.1/libexec/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o207.save.
: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

我可能会错过非常细微的细节。我该如何解决这个问题？

【问题讨论】：

标签： pyspark

【解决方案1】：

错误描述清楚地表明它无法定位 JDBC 驱动程序类。您必须使用 com.mysql.jdbc.Driver 包含 JAR 文件

pyspark --jars  <jar-file-location>

看到这个问题 - How to add third-party Java JAR files for use in PySpark。

【讨论】：