从 hive 表或 unix 中删除垃圾字符

Question

我们在 hive 中有如下表，我们正在从 hive 数据生成平面文件，而我们正在生成我们发现在下面的数据中有垃圾字符我们在许多列中有很多字符任何人都可以帮助我们从 hive 表或 unix 文件中删除那些垃圾字符？

ÿ,ä,í,ã

这里的问题是相同的数据在加载到那里的数据库时需要发送到下游，它显示为双美元，但我们将代码双美元设计为列分隔符。

Answer 1

基本概念

hive> select regexp_replace('Hÿelloä íworlãd','[^a-zA-Z ]','');
OK
Hello world

演示

从整个表中删除不需要的字符并将其导出到文件中。

create table t (i int,s1 string,s2 string);
insert into t values (1,'Hÿelloä','íworlãd'),(2,'ãGããood','Byÿe');

select * from t;

+---+---------+---------+
| i | s1      | s2      |
+---+---------+---------+
| 1 | Hÿelloä | íworlãd |
| 2 | ãGããood | Byÿe    |
+---+---------+---------+

---

create external table t_ext (rec string) 
row format delimited 
fields terminated by '0' 
location '/user/hive/warehouse/t'
;

---

insert overwrite local directory '/tmp/t_ext'
select  regexp_replace(regexp_replace(rec,'[^a-zA-Z0-9 \\01]',''),'\\x01','<--->') 
from    t_ext
;

---

! ls /tmp/t_ext
;

000000_0

! cat /tmp/t_ext/000000_0
;

1<--->Hello<--->world
2<--->Good<--->Bye

Answer 2

只要您的表仅包含“原始”类型（不包含结构、数组、映射等），此方法就可以工作。
我真的把信封推到这里了。

演示

create table t (i int, dt date, str string, ts timestamp, bl boolean);

insert into t select 1,current_date,'Hello world',current_timestamp,true;

select * from t;

+-----+------------+-------------+-------------------------+------+
| t.i |    t.dt    |    t.str    |          t.ts           | t.bl |
+-----+------------+-------------+-------------------------+------+
|   1 | 2017-03-14 | Hello world | 2017-03-14 14:37:28.889 | true |
+-----+------------+-------------+-------------------------+------+

---

select  regexp_replace
        (   
            printf(concat('%s',repeat('$$%s',field(unhex(1),*,unhex(1))-2)),*)
           ,'(\\$\\$)|[^a-zA-Z0-9 -]'
           ,'$1'
        )
        
from    t
;

1$$2017-03-14$$Hello world$$2017-03-14 143728.889$$true