无法修剪 pyspark 数据框中的空白空间

Question

从 Oracle 加载数据并写入 PostgreSQL 时遇到奇怪的问题。无法将带空格的字符串写入 postgres。面临以下问题

Caused by: java.sql.BatchUpdateException: Batch entry 0 INSERT INTO xyz("col1","col2") VALUES ('7643'::numeric,'xyz/xyz xyzxy xyz/xyz xyzxy ') was aborted: ERROR: invalid byte sequence for encoding "UTF8": 0x00  Call getNextException to see other errors in the batch

因此尝试修剪数据框中的 col 但这不起作用。修剪前后的数据是一样的。

data= data.withColumn("trimmed", trim(col("col2")))

我对 pyspark 和数据清理非常陌生，非常感谢任何帮助。

Answer 1

可能修剪工作正常。 trim 函数只是从流的两端删除空格。而实际上你的问题不是这样的。问题是 Postgres 不接受 NULL 字符（即0x00、check this），看起来你的col2 中有一些字符。尝试先用以下方法清洁它们：

from pyspark.sql.functions import regexp_replace, col
data = data.withColumn("col2", regexp_replace(col("col2"), "\u0000", ""))