如何编写计算节点度数和计数的猪脚本

Question

如何为此编写猪脚本？

我有一个文本文件，其中包含彼此为朋友的用户的 ID 例如（data.txt）

id  id
1   2
1   3
1   4
2   1
2   5
3   1
4   8

所以用户 id 1 是 3 个人的朋友，用户 id 2 是 2 个人的朋友，依此类推......

我想计算并按降序列出最大好友数以及有多少用户拥有这么多好友

所以是这样的：1 个用户有 3 个朋友，1 个用户有 2 个朋友，2 个用户有 1 个朋友 试图获取这样的列表

number of user    number of friends (highest first)
1                   3
1                   2
2                   1

感谢任何帮助

Answer 1

你可以试试这个吗？

input.txt

1       2
1       3
1       4
2       1
2       5
3       1
4       8

PigScript：

A = LOAD  'input.txt' USING PigStorage() AS(id:int,friends:int);
B = GROUP A BY id;
C = FOREACH B GENERATE FLATTEN(COUNT(A.friends)) AS cnt;
D = GROUP C BY cnt;
E = FOREACH D GENERATE COUNT(C.cnt),group;
F = ORDER E BY group DESC;
DUMP F;

输出：

(1,3)
(1,2)
(2,1)