网盘下载地址：下载地址 https://u18103887.ctfile.com/fs/18103887-312143745
概述
参与方式
hadoop安装
hadoop
2.6.0集群安装
管理工具
top-10-hadoop-cluster-management-tools
插件
HDFS图形化管理工具hadoop-eclipse-plugin
yarnApache Hadoop
2.7.1 yarn-概述
yarn-架构案例
01-气温数据求最小值
02-WordCount
03-行去重操作
04-排序后显示行数
05-Hadoop实战URL流量分析
06-Hadoop处理员工信息Join
07-Hadoop-证明reduce中values中不主动排序的
08-Hadoop 自定义reducer-key升序和降序排序
09-Hadoop自定义reducer-values升序或降序排序
10-Hadoop编程实战MapReduce处理员工信息Join
11-Hadoop-倒排索引的算法
spark安装
spark-1.6.0-bin-hadoop2.6-安装
spark-1.6.0 源码编译
笔记
Spark RDD 弹性
eclipse 新建 Spark项目并发布到集群中
spark不直接在客户端直接提交程序的原因分析
Spark 常规容错方式
Spark RDD
Spark 设计理念与基本架构
SparkContext 的初始化
WordCount图解
RDD的 transformation 和 action 执行流程图
RDD案例(map,filter,flatMap,groupByKey,reduceByKey,join,cogroup)
spark 算子操作 cogroup java版
shell编程
WordCount
部署
idea打成jar包通过spark-submit工具部署到集群
eclipse新建Spark项目并部署应用到集群中
spark用maven来管理依赖部署应用到集群中-scala版
spark用maven来管理依赖部署应用到集群中-java版
Apache Mesos
Apache Mesos 简介
MPI调试
使用jvisualvm监控Spark作业
源码分析
01-spark 控制台输出日志改成debug
02-spark控制台日志分析
03-spark内核架构图
03-01-spark-主要对象关系图
04-01-spark-master-worker 关系图
04-spark-master-源码分析
05-spark-worker-源码分析
06-spark-executor-01-工作原理图
06-spark-executor-源码分析
07-spark-stage-源码分析
08-spark-Spark Runtime内幕解密-源码分析
09-spark-task-源码分析
10-spark-task-任务本地性算法实现
11-TaskScheduler原理和源码解密
提出问题
01-大量作业需要提交到集群中问题
hive
基础知识
Hive的历史价值和Hive的架构设计
笔记
分享
每天学习笔记分享
大数据
框架
Hadoop和大数据：60款顶级开源工具
环境安装、调试、集成
os
linux
ubuntu
ubuntu-15.10-desktop-amd64-安装
ubuntu-五笔－输入法－安装
ubuntu-静态ip-配置
ubuntu-常用命令
ubuntu－操作系统