【发布时间】:2020-11-14 17:51:14
【问题描述】:
我有一个 MySQL 表并将其加载到 spark 上。该表包含一个几何类型的列。 当我在 spark 上加载表格时,几何类型的列在数据框中变为二进制类型。
我的问题是:
- 为什么 MySQL 中的几何类型在 spark 上变成二进制类型?
- 有没有其他方法可以解决这个问题?
我需要你的帮助!
谢谢!
【问题讨论】:
标签: java mysql apache-spark geometry sqldatatypes
我有一个 MySQL 表并将其加载到 spark 上。该表包含一个几何类型的列。 当我在 spark 上加载表格时,几何类型的列在数据框中变为二进制类型。
我的问题是:
我需要你的帮助!
谢谢!
【问题讨论】:
标签: java mysql apache-spark geometry sqldatatypes
几何是一种特殊的数据类型。
在使用它之前,你应该将它转换为文本或二进制。
转化信息:https://dev.mysql.com/doc/refman/5.6/en/gis-format-conversion-functions.html
或者您可以使用 GeoSpark:
var spatialDf = sparkSession.sql( """ |SELECT ST_GeomFromWKT(_c0) AS countyshape, _c1, _c2 |FROM rawdf """.stripMargin) spatialDf.createOrReplaceTempView("spatialdf") spatialDf.show()
完整教程如下: https://datasystemslab.github.io/GeoSpark/tutorial/sql/
【讨论】: