怎样才能成为一名合格的大数据工程师

大数据分三大部分,包括:大数据基础、技术原理和创新实践。

  • 大数据基础部分主要介绍大数据的基本概念、技术架构和大数据的应用场景;
  • 第二部分大数据技术原理主要介绍大数据的感知与采集、大数据存储、大数据管理、大数据计算、大数据分析、以及大数据可视化与可视化分析;

Bigdata

第一部分大数据基础

  • 第1章 大数据的基本概念

    • 大数据全景图
    • 从IT时代到DT时代
    • 大数据洞见(insight)
    • 大数据总体框架
    • 数据科学与数据工程
  • 第2章 大数据的技术架构

    • 传统数据库和数据仓库
    • Hadoop及其生态系统
    • 商业大数据技术架构
    • 大数据商业产品
  • 第3章 大数据的应用

    • 大数据与科学研究
    • 大数据与政府治理
    • 大数据与智慧城市
    • 大数据与公共服务
    • 大数据与商业创新

第二部分大数据技术原理

  • 第4章 大数据感知与采集

    • Digital world,数字化世界
    • 互联网、云计算、物联网技术
    • 智慧城市
  • 第5章 大数据存储

    • 数据存储基本概念
    • 数据库存储
    • 分布式文件系统HDFS
    • 分布式数据库HBase
  • 第6章 大数据管理

    • 大数据仓库
    • 结构化查询语言
    • NoSQL和NewSQL
  • 第7章 大数据计算

    • 分布式并行编程框架MapReduce
    • 内存计算与Spark
    • SQL on Hadoop
    • 图计算与流计算
  • 第8章 大数据分析

    • 统计方法
    • 数据挖掘
    • 机器学习
    • 大数据分析语言:Python和R
  • 第9章 大数据可视化与可视化分析

    • 大数据可视化方法
    • 大数据可视化工具
    • 可视化分析
    • 数据智能

第三部分大数据工程与实践

  • 第10章 开放大数据与大数据工程

    • 开放数据与创新
    • 大数据工程方法论
    • 大数据工程实践步骤
  • 第11章 大数据创新实践案例

    • 互联网大数据
    • 政府大数据
    • 生物大数据
    • 金融大数据
    • 城市大数据
    • 教育大数据
    • 大数据开发需要学习的知识点

    • 互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学习,却
      因为时间不够,资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习
      群:199加上【427】最后加上210就可以找到组织学习 欢迎进阶中和进想深入大数据的小伙伴加入。

      • 第一阶段JavaSE + MySql + Linux

        Java基础 → OOP编程 →Java集合→ IO/NIO → Eclipse → Intellij IDEA → Socket网络技术 → Mysql 数据库 → JDBC Api → JVM内存结构 → 阶段项目实战 → Linux(VMware、CentOS、目录结构、Linux命令)

        第二阶段Hadoop 与 生态系统

        Hadoop→ MapReduce → Hive →Avro与Protobuf → Zookeeper → HBase → phoenix →Redis → Flume分布式 → SSM(Spring、SpringMVC、Mybatis) →Kafka架构

        第三阶段Storm 与Spark 及其生态圈

        Scala→ Spark Job → Spark RDD→ spark job部署与资源分配 → Sparkshuffle → Spark SQL → SparkStreaming → Spark ML → azkaban

        第四阶段其他

        Python与数据分析

        第五阶段项目实战、技术综合运用

        大数据商业实战阶段需掌握的技术有:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。

        在拥有Java编程语言基础的前提下,可以学习以上大数据技术,大数据是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长,掌握大数据核心技术,才是掌握真正的价值所在。

猜你喜欢

转载自www.cnblogs.com/wuhongjuan2/p/10419626.html