人生的每一个阶段,都有自己应该做的事情,我们在大数据时代,该学习大数据技术就应该好好学习大数据技术,将自己的技术学到精深,学到大数据技术的精华。该面试找工作的时候,也要做好一切准备,无论是礼仪的学习、说话的技巧还是大数据的面试题也是要面面俱到的。恰巧小编整理了一份大数据面试题,供你们免费下载。

  

2018最新大数据面试题下载

  1. scala 隐函数关键字

  implicit

  2. val x=y=1结果

  1)x、y都是var,x变为Unit

  2)都是val,报错

  3.java内存模型

  堆内存、栈内存、方法区

  栈内存:保存局部变量

  堆内存:存储数组和对象

  方法区:代码区、字符串常量池、静态区

  4.Hbase优化

  1) 表设计

  建表时就分区,rowkey设置定长(64字节),CF2到3个

  Max Versio,Time to live,Compact&Split

  2) 写表

  多Htable并发写

  Htable参数设置,手动flush,降低IO

  WriteBuffer

  批量写

  多线程并发写

  3) 读表

  多Htable并发读

  Htable参数设置

  批量读

  释放资源

  缓存查询结果

  5. MapReduce优化

  1. 任务调度

  I/O 方面:Hadoop 会尽量将 Map 任务分配给 InputSplit 所在的机器,以减少网

  络 I/O 的消耗。

  2.数据预处理与 InputSplit 的大小

  合理地设置 block块大小是很重要的调节方式。除此之外,也可以通过合理地

  设置 Map 任务的数量来调节 Map 任务的数据输入。

  3. Map 和 Reduce 任务的数量

  当 Reduce 任务的数量是任务槽的 1.75 倍时,执行速度快的机器可以获得更多

  的 Reduce 任务,因此可以使负载更加均衡,以提高任务的处理速度。

  4. Combine 函数

  MapReduce 框架运行用户写的 combine 函数用于本地合并,这会大大减少网

  络 I/O 操作的消耗

  以上是小编的节选,更多的面试题可以直接私信小编。

相关文章:

  • 2021-11-28
  • 2021-04-11
  • 2021-12-23
  • 2021-05-09
  • 2022-01-08
  • 2021-05-30
  • 2021-08-18
  • 2021-12-05
猜你喜欢
  • 2021-05-04
  • 2021-12-21
  • 2021-12-10
  • 2021-12-04
  • 2021-09-19
  • 2022-01-06
相关资源
相似解决方案