元数据与数据治理|学习汇总

版权声明:更多信息请关注 wwws.shinians.com 官网 https://blog.csdn.net/zzhuan_1/article/details/86073225

以下是学习元数据与 数据治理的整个过程:包含技术总结和心里变化情况

以日志的形式进行汇总

2019.1.4   (第一天:接触需求)

需求定义

第一天 讲解需求(   数据仓库、元数据处理建设)

内心变化 

片面的理解是关系型数据;

片面的理解是常规的增删改查询;

根据需求网上搜索相关资料接触 到Apache Atlas,对就是那么一眼,不过在后来的交流当中,领导也提到了这个插件,所以加深了他的印象

前期缺点 1.理解是有误区的   2.思路是混乱的  3.Apache Atlas是有抵触,看了下相当麻烦,主要以前涉及的技能点都没怎么用上,完全新的 领域

2019.1.7(第二天  搜集资料,确定系统定位)

探讨了项目每个系统的定位(好在有个 周六日,假期思考了下,将数据和api通过某种方式关联起来)

初步确定了方向(红线部分就是所需 要做的)

虽然思路理清楚,但是很多技术是接触不多的,心里对预期不是很有把握

2019.1.8 (第三天 搜索资料,了解各个名词概念)

    开始网上搜索资料:正式开启,暂且决定Apache Atlas入手

看第一篇,看到hadoop这个词也就是文章的第一段,然后就百度开始搜索"Hadoop技术栈",引出了第二篇(朦胧的)、第三篇(渐渐明白概念意识)

看完之后自己简单构建了了个技术发展图(请看完以下文章后再仔细看图)

文章学习路线搜集:  由第一篇演化出不同的文章分支

元数据与数据治理|使用 Apache Atlas 进行数据治理 (第一篇) 

 元数据与数据治理|Hadoop技术栈(第二篇)

元数据与数据治理|大数据生态及其技术栈(第三篇)

元数据与数据治理|Spark初探(第四篇)

 元数据与数据治理|MapReduce统计词语出现次数(第五篇)

 元数据与数据治理|Spark SQL结构化数据分析(第六篇)

 元数据与数据治理|MapReduce概述(第七篇)

 元数据与数据治理|Intellij IDEA提交远程Hadoop MapReduce任务(第八篇)

2019.1.9 (第四天 安装 Apache Atlas

   下午开始安装 Apache Atlas,中间 穿插做了下其它工作

    开始写安装 步骤

Apache Atlas安装过程详解(未完成 版本)

2019.1.10 (第四天 完成安装 Apache Atlas

完成Apache Atlas的安装,安装文章初步写完,安装文件准备ok(暂未上传)

元数据与数据治理|Apache Atlas安装过程详解(初步版本)

元数据与数据治理|大数据治理(第九篇)

元数据与数据治理|大数据之数仓平台设计(第十篇)

元数据与数据治理|Apache Atlas API使用入门(第十一篇)

来一张安装ok的图(明天继续)

猜你喜欢

转载自blog.csdn.net/zzhuan_1/article/details/86073225
今日推荐