Spark SQL 喜欢查找所有带有尾随数字的字符串

Question

从数据框查询时，我尝试使用rlike，但没有取得多大成功。

样本数据：

column_a|column_b
1|abc xyz
2|123 abc xyz
3|abc 123 xyz
4|abc 123
5|xyz 123

预期输出：

column_a|column_b
4|abc 123
5|xyz 123

我试过了：

select * from table_1 where column_b rlike '\d+$' (select * from table_1 where column_b rlike '/\d+$')

输出（无结果）：

column_a|column_b

我也试过了：

select * from table_1 where column_b rlike '\d*$' (select * from table_1 where column_b rlike '/\d*$')

输出（所有行）：

column_a|column_b
1|abc xyz
2|123 abc xyz
3|abc 123 xyz
4|abc 123
5|xyz 123

我的正则表达式不正确吗？我已经使用 python 和在线测试器进行了测试，它看起来是正确的。或者rlike 是否支持某些特定的正则表达式？

Answer 1

您需要更多的转义才能使其正常工作。特别是：

spark.sql("SELECT 'abc 123' RLIKE '\\\\d+$'").show()

+------------------+
|abc 123 RLIKE \d+$|
+------------------+
|              true|
+------------------+

spark.sql("SELECT '123 abc xyz' RLIKE '\\\\d+$'").show()

+----------------------+
|123 abc xyz RLIKE \d+$|
+----------------------+
|                 false|
+----------------------+