【发布时间】:2016-01-08 17:40:38
【问题描述】:
我的输入数据有刺符号(“þ”)。
我正在尝试根据该刺符号在猪自定义加载器中拆分该数据。
在这里,我从一个猪脚本文件调用该自定义加载程序,我将此符号作为参数传递给该文件。
如果我从 pig shell 运行相同的代码,则符号被识别,但如果我从 pig 脚本文件运行该代码,则数据中的符号和我传递的符号彼此不同。
例如:
My data is : "abcþdefþghi"
从猪壳数据读取为:abc�def�ghi
从猪壳符号读为:� and hex value is: fffd, decimal value: 65533
从 pig 脚本文件中读取数据为:abc�def�ghi
从 pig 脚本文件符号读取为:þ and hex value is: fe, decimal value: 254
【问题讨论】:
标签: utf-8 apache-pig delimiter extended-ascii