【问题标题】:Thorn symbol("þ") not working with pig script刺符号(“þ”)不适用于猪脚本
【发布时间】:2016-01-08 17:40:38
【问题描述】:

我的输入数据有刺符号(“þ”)。
我正在尝试根据该刺符号在猪自定义加载器中拆分该数据。
在这里,我从一个猪脚本文件调用该自定义加载程序,我将此符号作为参数传递给该文件。
如果我从 pig shell 运行相同的代码,则符号被识别,但如果我从 pig 脚本文件运行该代码,则数据中的符号和我传递的符号彼此不同。

例如: My data is : "abcþdefþghi"

从猪壳数据读取为:abc�def�ghi
从猪壳符号读为:� and hex value is: fffd, decimal value: 65533

从 pig 脚本文件中读取数据为:abc�def�ghi
从 pig 脚本文件符号读取为:þ and hex value is: fe, decimal value: 254

【问题讨论】:

    标签: utf-8 apache-pig delimiter extended-ascii


    【解决方案1】:

    它为我修复了...
    来自 pig 我的数据来自 ISO_8859_1 字符集。
    所以我使用以下代码将分隔符字符集更改为 ISO_8859_1。

    new String(StandaradCharset.forName("ISO_8859_1").encode(<delimiter>).toArray());
    

    【讨论】:

      猜你喜欢
      • 2013-11-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-03-25
      相关资源
      最近更新 更多