【问题标题】：how can I write spark Dataframe to clickhouse如何将 spark Dataframe 写入 clickhouse
【发布时间】：2020-06-12 09:21:21
【问题描述】：
val df = spark.read.parquet(path)
val IP ="190.176.35.145"
val port = "9000"
val table = "table1"
val user = "defalut"
val password = "default"
我不知道怎么把df直接写进clickhouse，
我没有找到任何类似的答案。
有人帮帮我~
【问题讨论】：
标签：
dataframe
apache-spark
clickhouse
【解决方案1】：
写入 clickhouse 数据库类似于通过 JDBC 写入任何其他数据库。只需确保将 ClickHouseDriver 类导入您的代码即可。
用户名和密码被传递到 ckProperties 对象。
写入命令如下，可以替换字符串中的数据库名：
import ru.yandex.clickhouse._
val jdbcUrl = "jdbc:clickhouse://190.176.35.145:9000/your_database_name"
val ckProperties = new Properties()
df.write.mode("append").option("driver", "ru.yandex.clickhouse.ClickHouseDriver").jdbc(jdbcUrl, table = "table1", ckProperties)