大数据平台 - 数据采集及治理
数据采集介绍ETL基本上就是数据采集的代表，包括数据的提取（Extract）、转换（Transform）和加载（Load）。数据源是整个大数据平台的上游，数据采集是数据源与数仓之间的管道。在采集过程中针对业务场景对数据进行治理，完成数据清洗工作。在大数据场景下，数据源复杂、多样，包括业务数据库、日志数据、图片、视频等多媒体数据等。数据采集形式也需要更加复杂，多样，包括定时、实时、增量、全量等。常见
打工人必备：这10款VS Code摸鱼神器还没安装？
高能预警： 摸鱼有风险，辞退我不管！现在使用VsCode编码的人越来越多，凭借着免费，开源，轻量，跨平台的特点收货了一大批忠实粉丝。以其可支持扩展程序（通过安装扩展程序，VS Code 可以支持更多新的语言、界面主题、测试器，以及更多的增值服务），而备受广大开发者追捧。除了开发插件外，有哪些可以上班摸鱼的插件呢？这里给大家写一个渔夫指南，汇总一些在VSCode中可以“摸鱼”的好玩插件！长期更新，如
大数据平台 —— 调度系统之Azkaban
Azkaban介绍常见的开源调度框架：LinuxCrontab：针对个人用户及小任务量ApacheOozie：功能强大，配置复杂的Hadoop任务调度框架Azkaban：开源的工作流管理器，轻量级调度框架AirFlow:基于Python开发的通用批处理调度框架Zenus:阿里开源的基于Hadoop的工作流调度系统EasyScheduler:国内开源的分布式工作流任务调度系统开源调度框架对比：Azk
弥补MySQL和Redis短板：看HBase怎么确保高可用
HBase 是一个基于 Hadoop 面向列的非关系型分布式数据库（NoSQL），设计概念来源于谷歌的 BigTable 模型。它面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统，在大数据相关领域应用广泛。HBase 系统支持对所存储的数据进行透明切分，从而使得系统的存储以及计算具有良好的水平扩展性。知乎从 2017 年起开始逐渐采用 HBase 系统存储各
亿级日搜索量的美团如何构建高效的搜索系统？
众所周知，美团为用户提供了全方位的生活服务，包括外卖、出行、甚至是零售和生鲜等方面。面对纷繁复杂的服务与选项，用户怎样才能快速地找到自己想要的结果呢？这就需要美团平台的搜索服务来帮忙。2018 年 11 月 30 日-12 月 1 日，由 51CTO 主办的 WOT 全球人工智能技术峰会在北京粤财 JW 万豪酒店隆重举行。本次峰会以人工智能为主题，来自美团的高级算法技术专家蒋前程在推荐搜索专场，从
工作3年后，我选择离开腾讯
“你居然要从腾讯离职了！？”这是身边朋友得知我要离开后的反应，似乎大家都难以理解这样的决定。从行业环境来看，中国互联网正处于一派繁荣之境；从公司形势来看，也正要准备大刀阔斧地干一番大事业；从个人发展来看，自己在公司也会担任越来越重要的角色。所有的环境都是好的，更加显得离职的决策不理智。HR 系统弹窗给出最后的挽留：你确定要提交离职申请吗？经过各种综合考虑后，我还是点了“确定”按钮，正式从工作了三年
zblogphp侧栏模块tags标签的排序顺序是如何设计的？[图]
问题：侧栏标签列表，永远都是显示一样的，最新添加的标签显示不出来，如果更改使最新ID标签排在上面？解答：是根据你的标签包含文章数量倒序排序的，数量最多的在前面，最多显示25个标签。我们都知道，zblog写作的时候，一向喜欢设置一些标签，用于将一些有相同特点的或者主题的文章聚合起来，这是一种很好的文章聚合解决方案，因此也就有了zblog标签tags的使用，并且我发现，zblog开发平台也有很多开发者
操作系统-内核中的屏幕打印(上)
操作系统-内核中的屏幕打印(上)一.屏幕的打印-使用C语言设计一组打印函数，为后续进一步开发内核功能做准备内核中的屏幕打印模块这里有三个不同的入口,在screen.模块中是提供保护模式下在屏幕下打印文本的功能，该模块的具体实现是如图所示有7个接口需要设计，最重要的一个函数为voidPrintChar(charc)-打印字符串的函数，由此总结了以上七个函数接口的关系，如下图所示如图所示中心函数就为上
今日推荐
周排行