OLAP(联机分析处理)和OLTP (联机事务处理)的区别

当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果.OLTP:...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

Watermark 案例

/***Watermark 案例Created by xuwei.tech.*/public class StreamingWindowWatermark { public static void main(String[] args) throws Exception { //定义socket的端口号 int port = 9000;...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

系统业务数据仓库

第1章 电商业务与数据结构简介1.1 电商业务流程1.2 电商常识(SKU、SPU)SKU=Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。SPU(Standard Product Unit):是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息集合。比如,咱们购买一台iPhoneX手机,iPhoneX手机...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

SQL经典面试题

用一条SQL 语句查询xuesheng表每门课都大于80 分的学生姓名,这个是面试考sql的一个非常经典的面试题having和not in查询 xuesheng表每门课都大于80 分的学生姓名name kecheng score张三 语文 81张三 数学 73李四 语文 86李四 数学 90王五 数学 89王五 语文 88王五 英语 96解决办法一: having如果不考虑...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

云网校大数据开发笔试题

一、必答题1、实现快速排序、归并排序、堆排序中的一种(注:语言不限,不接受伪码)2、请画出HDFS读取、写入文件流程图3、fct_score表中记录了近几个月学生的考试得分情况,具体内容如下:题目要求:1.请用HQL或者sparkSQL找出学生中成绩从来没有低于60分的学生Student_idSELECT student_id, min(score )FROMFct_score...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

java.net.BindException: Problem binding to [cts02:8031] java.net.BindException: 无法指定被请求的地址

解决方式:如果在完全分布式部署,Namenode和ResourceManger如果不是同一台机器,不能在NodeManager上启动 yarn,应该在ResouceManager所在的机器上启动yarn报错信息:Caused by: java.net.BindException: Problem binding to [hadoop103:8031] java.net.BindExcepti...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_

错误日志:org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1574002486205_0004 failed 2 times due to AM Container for appattempt_1574002486205_0004_000002 ...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1

报错信息:|–|--|org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1574002486205_0005 failed 2 times due to AM Container for appattempt_1574002486205_0005_0...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

http://central.maven.org/maven2/mysql/mysql-connector-java/

http://central.maven.org/maven2/mysql/mysql-connector-java/
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

Like示例

// 查询姓陈的有哪些SELECT * FROM user WHERE NAME LIKE '陈%';// 查询姓名第二个字是新的人SELECT * FROM user WHERE NAME LIKE "_新%";// 查询姓名是三个字的人SELECT * FROM user WHERE NAME LIKE '___';// 查询姓名中包含狗的人SELECT * FROM user ...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

namenode: Unknown command

hadoop格式化命令:bin/hdfs namenode -formatbin/hadoop namenode -formader
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

hive表中字段出现乱码问题

原因:Hive元数据存储在Mysql中采用默认latin1编码,导致开发环境出现了这个问题,解决方法如下所示:1.进入mysql ,执行 show create database hive 查看hive 数据库当前编码,如果是utf8 则执行下面sql: alter database hive default character set latin1 将 ...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

Linux如何修改mysql编码

1、查看字符编码:mysql> show variables like '%character%';或mysql> show variables like 'character_set_%';查询结果:2、修改编码命令:set character_set_client = utf8;set character_set_server = utf8;set char...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

订单拉链表

拉链表设计图:1、创建数据库create database ods;create database dwd;2、在ods层中创建订单表2.1、创建ods的订单表初始表(相当于是从mysql出来数据的,懒得去走mysql)create table ods_order_init(`id` string COMMENT '订单编号',`order_status` string COM...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

hive表注释中文乱码问题

1.修改hive存储在mysql里的元数据相关信息a. 修改字段注释字符集alter table COLUMNS_V2 modify columnCOMMENT varchar(256) character set utf8;b. 修改表注释字符集alter table TABLE_PARAMS modifycolumn PARAM_VALUE varchar(4000...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

hive乱码问题

在线安装mysql的修改方式①修改编码,设置为utf-8在 mysql 配置文件/etc/my.cnf(不需要拷贝)中[mysqld]的下面增加以下内容init_connect='SET collation_connection = utf8_unicode_ci'init_connect='SET NAMES utf8'character-set-server=utf8collati...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

永久修改MySQL字符编码

1.登录数据库,查看数据库字符编码表 :查看编码SQL:SHOW VARIABLES LIKE ‘character%’;show variables like ‘char%’;2.退出数据库,修改mysql配置文件,改变数据库字符编码 :vi /etc/my.cnf3.进入配置文件后增加如下代码,然后保存退出default-character-set=utf8characte...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

mysql修改字符编码

1.进入mysql ,执行 show create database hive 查看hive 数据库当前编码,如果是utf8 则执行下面sql: alter database hive default character set latin1 将 hive 数据库默认编码改成 latin12.为了以下支持hive建表时插入中文注释 需要在mysql中做如下设...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

指定Zookeeper输出日志 zookeeper.out输出路径

1、进入到/root/module/zookeeper/bin目录2、编辑zkEnv.sh文件vi vi zkEnv.sh3、修改ZOO_LOG_DIR路径ZOO_LOG_DIR="/root/module/zookeeper/logs"
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0

limit案例

LIMIT m,n : 表示从第m+1条开始,取n条数据;LIMIT n : 表示从第0条开始,取n条数据,是limit(0,n)的缩写。案例:查找入职员工时间排名倒数第三的员工所有信息建表语句CREATE TABLE `employees` (`emp_no` int(11) NOT NULL,`birth_date` date NOT NULL,`first_name` var...
分类: 其他 发布时间: 02-26 22:42 阅读次数: 0