Hadoop学习-days4-大数据简介

1.大数据概念

    大数据(big data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    主要解决,海量数据的存储和海量数据的分析计算问题。

 

2. 大数据特点

    1)高速  Velocity 数据产生快

    2)数量大 Volume

    3)多样性 Variety 结构化,非结构化,数据种类多

    4)低价值密度 Value

 

3. 大数据应用

    结合海量数据挖掘及数据分析,助力精准定位和精确营销

 

4. 企业数据部的业务流程分析

    1)产品人员提需求:统计总用户数 日活跃用户数 回流用户数等

    2)数据部门搭建数据平台、分析数据指标

    3)数据可视化(报表展示,邮件发送,Echarts)

 

5. 企业数据部的一般组织结构

    1)平台组

        Hadoop等框架平台搭建,集群性能监控,集群平台性能调优

    2)数据仓库组

        ETL工程师-数据清洗

        Hive工程师-数据分析,数据仓库建模

    3)数据挖掘组

        算法工程师

        推荐系统工程师

        用户画像工程师

    4)报表开发组

        JAVAEE工程师(展示)



猜你喜欢

转载自blog.csdn.net/canglan211/article/details/80812077