Spark中的拆分功能

Question

我想将地址分成两列，分别为 streetno 和 streetname，例如 select address1 from customer

前样的地址

2719 石溪博士 并将它们存储到街道编号为 2719 和街道名称为 STONE CREEK DR。

从表中选择 regexp_extract(address1,'(?

样本数据：

Input

预期输出：

Output

但是当我运行上述查询时，我在 spark 中没有得到任何结果，而是在 Hive 中得到结果。

Answer 1

如果我理解正确：

>>> qry = """
... select split(addressl, '\\\s+')[0] as streetnumber,
...        regexp_replace(addressl, '^\\\d+\\\s+', '') as streetname
... from table"""
>>> spark.sql(qry).show()
+------------+-----------------+
|streetnumber|       streetname|
+------------+-----------------+
|         100|HORACE GREELEY RD|
|          55|    School Street|
|        2893|       MASHIE CIR|
|        1200|         JEWEL DR|
|         201|       W RIVER RD|
+------------+-----------------+