Redshift REGEXP_SUBSTR 函数的 Spark 替代方案

Question

尝试将部分 Redshift 查询转换为 SparkSQL 或 SQL 和 UDF 的组合：

REGEXP_SUBSTR(referrer, '[^/]+\\.[^/:]+') as referrer_domain,

尝试使用regexp_extract(referrer, '[^/]+\\.[^/:]+', 1)，但这似乎不是以相同的方式工作并且返回的结果不一致。

任何指针表示赞赏！

Answer 1

你应该可以在 spark sql 中使用 regexp_extract，像这样 -

regexp_extract(columnName, '(YourRegex)', 1) as aliasName

注意正则表达式周围的 () 以捕获组。希望对您有所帮助！