SparkSQL使用Python从MySQL数据库表中读取[重复]

【问题标题】：SparkSQL read from MySQL database table using Python [duplicate]SparkSQL使用Python从MySQL数据库表中读取[重复]
【发布时间】：2016-04-25 01:49:27
【问题描述】：

我在 MySQL 中有一个“用户”表。我想把它读到我的 Spark SQL 程序中。如何使用 Python 将表从 MySQL 读取到 Apache Spark 的 SparkSQL 模块？是否有我可以用于此任务的连接器？谢谢。

【问题讨论】：

标签： python pyspark apache-spark-sql

【解决方案1】：

有一个similar question answered。像这样开始pyspark

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38

然后运行

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql",
driver="com.mysql.jdbc.Driver",
dbtable="user",
user="root",
password=""
).load().take(10)

这很可能会起作用。但这取决于你的 mysql 设置，所以如果它不尝试更改密码、用户名、db-url 和其他设置。

【讨论】：