1.简单描述你对Hadoop集群SafeMode模式的理解？
集群处于安全模式，不能执行重要操作(写操作)，集群属于只读状态；但严格来说，只 是保证HDFS元数据信息的访问，而不保证文件的访问；集群启动完成后，自动退出安 全模式，如果集群处于安全模式，想要完成写操作，需要离开安全模式
查看安全模式状态：bin/hdfs dfsadmin -safemode get
进入安全模式状态：bin/hdfs dfsadmin -safemode enter
离开安全模式状态：bin/hdfs dfsadmin -safemode leave
等待安全模式状态：bin/hdfs dfsadmin -safemode wait
对全新创建的HDFS集群，NameNode启动后不会进入安全模式，因为没有Block信息
2.hadoop集群中如何设置黑名单和白名单？作用分别是什么？
添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，会被退出
创建white.hosts文件：文件中添加的主机名为白名单
在hdfs-site.xml配置文件中增加white.hosts属性，并分发文件
在黑名单上面的主机都会被强制退出
创建black.hosts文件：文件中添加的主机名为黑名单
在hdfs-site.xml配置文件中增加black.hosts属性，并分发文件
3.是否可以在Windows上运行Hadoop？
不能
4.在MapReduce处理任务时，简单描述经过哪节基本流程？
第一个阶段的MapTask并发实例，完全并行运行，互不相干
第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所 有MapTask并发实例的输出
MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑 非常复杂，那就只能多个MapReduce程序，串行运行
5.简答描述以下TextInputFormat怎么进行文件切分？
拿到文件之后，默认情况下切片的切块大小是块大小128M，如果文件大于128M，那 就看文件是否大于128 M的1.1倍(140.8M)，如果不大于就不切分，如果大于，就按照 128M大小进行切分
6.假如Namenode中没有数据会怎么样？
将SecondaryNameNode中数据拷贝到NameNode存储数据的目录
使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中 数据拷贝到NameNode目录中
7.如何实现服务器之间的免密登录（便捷版），SSH采用的是什么加密？
生成公钥和私钥：ssh-keygen -t rsa
将公钥拷贝到要免密登录的目标机器上
SSH采用的是非对称加密
8.简单描述MapReduce不合适对哪些场景的使用，其实问得就是他得缺点？
MapReduce的缺点：不擅长实时计算，不擅长流式计算，不擅长DAG(有向图)计算
9.MapReduce的基本数据类型包括哪些？
BooleanWritable、ByteWritable、IntWritable、FloatWritable、LongWritable、DoubleWritable、 TextWritable、MapWritable、ArrayWritable
10.yarn有哪几部分组成，作用分别是什么？调度器主要有哪三种，hadoop默认的是哪一种？
由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成；
ResourceManager:处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、 资源的分配与调度
NodeManager:管理单个节点上的资源、处理来自ResourceManager的命令、处理来自 ApplicationMaster的命令
ApplicationMaster:负责数据的切分、为应用程序申请资源并分配给内部的任务、任务的 监控与容错
Container:Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内 存、CPU、磁盘、网络等。
FIFO、Capacity Scheduler(容量调度器)和Fair Scheduler(公平调度器)
Hadoop默认的资源调度器是Capacity Scheduler(容量调度器)
11.如果需要在namenode节点群起集群，你需要如何配置？
必须实现服务器之间的免密登录
修改hadoop2.7.2文件夹下的etc/hadoop/slaves文件
12.简单描述Shuffle过程环形缓冲区的作用？
Key、value从map()方法输出，被outputcollector收集通过getpartitioner()方法获取分区 号，在进入环形缓冲区。默认情况下，环形缓冲区大小值为100M。当map输入的数据 进入环形缓冲区的量达到80MB以上时，开始执行溢写过程，溢写过程中如果有其他数 据进入，由剩余的20%反向写入。溢写过程会根据key、value先进行分区，之后进行排 序，最终maptask溢写文件经过归并排序后落入本地磁盘，reduceTask将多个mapTask 下相同分区的数据copy到不同的reduceTask中进行归并排序后一次读取一组数据给 reduce()函数
13.Mapreduce执行过程中,在执行Reduce Task之前主要做哪些工作？
计算MapTask数量，文件的切分，向环形区写入数据，之后对文件进行分区快排，溢 出到文件(分区且区内有序)，之后进行归并排序
14.hdfs-site.xml的3个主要属性？
指定HDFS副本数量：dfs.replication
指定SecondaryNameNode：dfs.namenode.secondary.http-address
指定DataNode：dfs.datanode.address
15.Hadoop完全分布式模式有什么注意点？
设计集群：将namenode、datanode、resourcemanager、nodemanager、historyserver 放在不同服务器上
设置namenode节点所在的服务器地址和临时文件的存储目录(core-site.xml)
配置文件的副本数(hdfs-site.xml)
配置mapred-site.xml和yarn-site.xml
集群中的其他节点和hadoop01上的配置保持一致
16.Hadoop集群可以运行的3个模式？
本地运行模式、伪分布式运行模式和完全分布式运行模式
17.用一句话总结Combiner的作用和意义？并说明使用它的前提？
Combiner的意义就是对每一个MapTask的输出进行局部汇总，以减小网络传输量
18.用shell脚本完成如下功能，求极值，根据输入数据，输出最大，最小值（达到手写的程度）
#!/bin/bash
min=$1
max=$1
for i in "$@"
do
if [ $min -gt $i ]
then
min=$i
fi
if [ $max -lt $i ]
then
max=$i
fi
done
echo "最大值为" $max
echo "最小值为" $min
19.编写一个最基本的wordcount单词统计的mapreduce（达到手写的程度，可以参照上课的代码样例）
public class WcMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
private Text keyText = new Text();
private IntWritable one = new IntWritable(1);
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
String [] fileds = line.split(" ");
for (String filed : fileds) {
keyText.set(filed);
context.write(keyText, one);
}
}
}
public class WcReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable total = new IntWritable();
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable value : values) {
sum += value.get();
}
total.set(sum);
context.write(key, total);
}
}
public class WcDriver {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Job job = Job.getInstance(new Configuration());
job.setJarByClass(WcDriver.class);
job.setMapperClass(WcMapper.class);
job.setReducerClass(WcReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
boolean b = job.waitForCompletion(true);
System.exit(b ? 0 : 1);
}
}
20.列出常用的hdfs 命令（至少10个，并说明命令的作用）
本地文件àHDFS：
-put：将本地数据上传至hdfs
-copyFromLocal：将本地文件数据拷贝到hdfs
-moveFromLocal：将本地文件数据移动到hdfs，成功后本地数据会删除
-appendToFile：追加一个文件到已经存在的文件末尾
HDFS与HDFS之间：
-ls：查看hdfs文件目录
-mkdir：在HDFS上创建目录
-rm：删除文件或者文件夹
-rmr：递归删除
-cp：从一个目录拷贝文件至另一目录
-mv：在HDFS目录中移动文件
-chown：修改文件所属用户权限
-chmod：修改文件所属读写权限
-du -h：文件夹暂用的空间大小
-df -h：查看系统分区情况
-cat：查看文件
HFDSà本地：
-get：从hdfs下载文件至本地
-getmerge：合并hdfs目录下的文件至本地
-copyToLocal：从hdfs拷贝文件至本地
21.列出常用的10个linux命令，并说明它们的作用
查看当前网络IP：ifconfig
修改IP地址：vim /etc/ssconfig/network-scripts/ifcfg-eth0
启动防火墙：servicer network start
关闭iptables服务的自启动：chkconfig iptables off
创建空文件：touch 文件名
添加新用户：useradd 用户名
显示登陆用户的用户名：who am i
改变权限：chmod 421 文件或目录
查看系统中的所有进程：ps -aux
查询所安装的rpm软件包：rpm -qa | grep rpm软件包