大数据结构生态体系

• 数据来源层
  • 数据库
  • 日志
  • 视频，ppt
• 数据传输层
  • Sqoop数据传递
  • Flume日志收集
  • kafka消息队列
• 数据存储层
  • HDFS文件存储
  • HBase非关系型数据库
  • kafka（存储少量数据）
• 资源管理层
  • YARN资源管理
• 数据计算层
  • MapReduce离线计算
    • Hive数据查询
    • Mahout数据挖掘
  • Spark Core内存计算
    • Mahout数据挖掘
    • SparkMlib数据挖掘
    • Spark R数据分析
    • Spark Sql数据查询
    • Spark Streaming 实时计算（准实时-批处理）
  • Storm实时计算（来了就计算）
  • Flink
• 任务调度层
  • Oozie任务调度
  • Azkaban任务调度
• 业务模型层
  • 业务模型，数据可视化，业务应用