大数据分三大部分,包括:大数据基础、技术原理和创新实践。
- 大数据基础部分主要介绍大数据的基本概念、技术架构和大数据的应用场景;
- 第二部分大数据技术原理主要介绍大数据的感知与采集、大数据存储、大数据管理、大数据计算、大数据分析、以及大数据可视化与可视化分析;
第一部分大数据基础
-
第1章 大数据的基本概念
- 大数据全景图
- 从IT时代到DT时代
- 大数据洞见(insight)
- 大数据总体框架
- 数据科学与数据工程
-
第2章 大数据的技术架构
- 传统数据库和数据仓库
- Hadoop及其生态系统
- 商业大数据技术架构
- 大数据商业产品
-
第3章 大数据的应用
- 大数据与科学研究
- 大数据与政府治理
- 大数据与智慧城市
- 大数据与公共服务
- 大数据与商业创新
第二部分大数据技术原理
-
第4章 大数据感知与采集
- Digital world,数字化世界
- 互联网、云计算、物联网技术
- 智慧城市
-
第5章 大数据存储
- 数据存储基本概念
- 数据库存储
- 分布式文件系统HDFS
- 分布式数据库HBase
-
第6章 大数据管理
- 大数据仓库
- 结构化查询语言
- NoSQL和NewSQL
-
第7章 大数据计算
- 分布式并行编程框架MapReduce
- 内存计算与Spark
- SQL on Hadoop
- 图计算与流计算
-
第8章 大数据分析
- 统计方法
- 数据挖掘
- 机器学习
- 大数据分析语言:Python和R
-
第9章 大数据可视化与可视化分析
- 大数据可视化方法
- 大数据可视化工具
- 可视化分析
- 数据智能
第三部分大数据工程与实践
-
第10章 开放大数据与大数据工程
- 开放数据与创新
- 大数据工程方法论
- 大数据工程实践步骤
-
第11章 大数据创新实践案例
- 互联网大数据
- 政府大数据
- 生物大数据
- 金融大数据
- 城市大数据
- 教育大数据
- 大数据开发需要学习的知识点
-
互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学习,却
因为时间不够,资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习
群:199加上【427】最后加上210就可以找到组织学习 欢迎进阶中和进想深入大数据的小伙伴加入。 -
第一阶段JavaSE + MySql + Linux
Java基础 → OOP编程 →Java集合→ IO/NIO → Eclipse → Intellij IDEA → Socket网络技术 → Mysql 数据库 → JDBC Api → JVM内存结构 → 阶段项目实战 → Linux(VMware、CentOS、目录结构、Linux命令)
第二阶段Hadoop 与 生态系统
Hadoop→ MapReduce → Hive →Avro与Protobuf → Zookeeper → HBase → phoenix →Redis → Flume分布式 → SSM(Spring、SpringMVC、Mybatis) →Kafka架构
第三阶段Storm 与Spark 及其生态圈
Scala→ Spark Job → Spark RDD→ spark job部署与资源分配 → Sparkshuffle → Spark SQL → SparkStreaming → Spark ML → azkaban
第四阶段其他
Python与数据分析
第五阶段项目实战、技术综合运用
大数据商业实战阶段需掌握的技术有:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。
在拥有Java编程语言基础的前提下,可以学习以上大数据技术,大数据是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长,掌握大数据核心技术,才是掌握真正的价值所在。