【发布时间】：2017-02-17 10:38:31
【问题描述】：
我想在输入任何记录时向我的 hive 表添加一个唯一值，该值不应在整个 hive 表中重复。我无法为此找到任何解决方案或任何功能。就我而言，我想使用 pig 拉丁文在 hive 中输入记录。请帮忙。
【问题讨论】：
-
您对插入有多少控制权？你知道最大批量大小吗？
-
@DuduMarkovitz 一次我只解析一个文件。
-
有什么理由不使用
row_number () over ()？ -
@DuduMarkovitz 我正在使用 pig 将数据插入蜂巢。我如何在猪脚本中使用
row_number()？ -
检查 DISTINCT 子句。下面的链接可能会有所帮助。 stackoverflow.com/questions/7401543/…
标签： hive apache-pig auto-increment