大数据面试题及答案 2018

1.   java内存模型

2.gc

3.编译好的scala程序,运行时还需要scala环境吗

Scala的代码执行是用REPL过程,ReadExecute Print Loop

4.object中有哪些方法

5.监测集群中的cpu,内存使用情况?

6、ArrayList中的Array长度超了是怎么增加的,一次增加多少?


---------------------------------------------------

linux的启动顺序

通电后读取ROM的BIOS程序进行硬件自检,自检成功后把计算机控制权交给BIOS中BOOTsequence中的下一个有效设备,读取该设备MBR找到操作系统,载入linux的bootloader,一般是grub。之后载入kernel,执行 /etc/rc.d/sysinit ,开启其他组件(/etc/modules.conf),执行运行级别,执行/etc/rc.d/rc.local ,执行/bin/login,最后shell启动。

使用过的开源框架介绍

Struts2 

Spring 

hibernate 

mybatis

hadoop

hive

hbase

扫描二维码关注公众号,回复: 860365 查看本文章

flume

sqoop

Zookeeper

Mahout

Kafka

Storm

Spark

擅长哪种技术

Hadoop。介绍

HIVE的优化

底层是MapReduce,所以又可以说是MapReduce优化。

1.      小文件都合并成大文件

2.      Reducer数量在代码中介于节点数*reduceTask的最大数量的0.95倍到1.75倍

3.      写一个UDF函数,在建表的时候制定好分区

4.      配置文件中,打开在map端的合并

开发中遇到的问题

Hbase节点运行很慢,发现是Hfile过小,hbase频繁split。

修改了hfile大小。或者设置major compack设置为手动

Major compack设置为手动会出现什么问题

Zookeeper的二次开发

Flume 的实时和定时数据采集,项目和flume的解耦

Mogodb和hbase的区别

Mogodb是单机

Hbase是分布式??

项目组多少人?人员分配?数据量?集群的配置?


转载地址:https://blog.csdn.net/qianfeng_dashuju/article/details/79403163

猜你喜欢

转载自blog.csdn.net/with__sunshine/article/details/80306321