1、聚类
算相似人群的时候会根据人的特征进行聚类或者相似度计算，scala kmeans代码如下所示:
2 、HashLSH计算
三、信用评分模型构建
四、一些创建hive 表以及写入数据的sql（主要掌握hive的一些窗口函数，如case..when , row number, collect_set.....）
简单的写几个如下所示：
以及每个维度画像标签有一个表或者多个表，最终需要把不同维度的表合成一个宽表，如下所示：
五、hive数据写入到ES
ES与其它库的区别:
几十亿用户下, 根据不同维度查询 达到秒级 ——> hbase-实时查询但是聚合没法做的 es
在线计算 －－> ES 查询速度快，稳定性 每天数据更新
hive、spark sql、impala、presto －－延迟比较大
ES不适合做关联－主要是方便查询,检索 es 很消耗内存
关联适合离线 hive 更多占用硬盘数据相比内存便宜很多