hive创建临时函数和永久函数
创建临时函数1.打包2.将hivefunction-1.0-SNAPSHOT上传到hadoop12的/export/servers/hive3.将jar包添加到Hive的classpathadd jar /export/servers/hive/hivefunction-1.0-SNAPSHOT.jar;4.创建临时函数与开发好的java class关联create temporary function base_analizer as com.udf.BaseFieldUDF;cre_create function as using jar创建function报错faild to register
hive -e和hive -f的用法
hive -e“-e”不进入hive的交互窗口执行sql语句bin/hive -e select id from student;hive -f“-f”执行脚本中sql语句（1）在/export/servers/datas目录下创建hive.sql文件touch hive.sql文件中写入正确的sql语句select *from student;（2）执行文件中的sql语句bin/hive -f /export/servers/datas/hive.sql（3）执行文件中的s
mysql中Decimal, Float, Double的区别
Decimal, Float, Double的区别float类型表示单精度浮点数值，double类型表示双精度浮点数值，float和double都是浮点型，而decimal是定点型；MySQL 浮点型和定点型可以用类型名称后加（M，D）来表示，M表示该值的总共长度，D表示小数点后面的长度，M和D又称为精度和标度，如float(5,2)的 可显示为999.99，MySQL保存值时会进行四舍五入，如果插入999.009，则结果为999.01。先创建一个表：CREATE TABLE test1(a FL
电商数仓---(脚本模板+写的SQL规律+Sqoop导表模板)
目录SQL模板写SQL的规律导表模板SQL模板#!/bin/bash#！2.定义变量#！3.获取时间#！4.sql#！5.执行sql声明gmall是数据库名看见时间加 $do_date 看见表名加${APP}例子#!/bin/bash#！2.定义变量APP=gmallhive=/export/servers/hive/bin/hive#！3.获取时间if [ -n $1 ] ;thendo_date=$1elsedo_date=`date -d -_数仓需要脚本
电商数仓中hive常用的函数
常用函数concat 函数concat_ws 函数STR_TO_MAP 函数collect_set 函数nvl 函数日期处理函数综合训练concat 函数concat 函数在连接字符串的时候，只要其中一个是 NULL，那么将返回 NULLhive> select concat(a,b);abhive> select concat(a,b,null);NULLconcat_ws 函数concat_ws 函数在连接字符串的时候，只要有一个字符串不是 NULL，就不_hive求商函数
hive中with....as的用法
with...as的用法就相当于join....on的用法下面展示with怎么用(数据不用管，缩减版)withtmp_order as(selectsku_idfrom detail),tmp_payment as(selectsku_id,payment_countfrom refund)insert overwrite table daycountselectsku_id,payment_count,from(selectsku_id,0 payment__hive的with as
Union与Union all区别
准备两张表tableA tableBid name score id name score1 a 80 1 d 482 b 79 2 e 233 c 68 3 c 86采用union查询select name from tableA union
Hive-2.x+Tez的安装
安装 Hive2.31）1）上传 apache-hive-2.3.0-bin.tar.gz 到/export/software 目录下，并解压到/export/serverstar-zxvf apache-hive-2.3.6-bin.tar.gz -C /export/servers/2）修改 apache-hive-2.3.6-bin 名称为 hivemv apache-hive-2.3.6-bin hive3）将 Mysql 的 mysql-connector-java-5.1.27-b_hive2 添加tez
Hive中Rank，DENSE_RANK，ROW_NUMBER的区别
函数说明RANK() 排序相同时会重复，总数不会变DENSE_RANK() 排序相同时会重复，总数会减少ROW_NUMBER() 会根据顺序计算直接看一张图
ERROR flume.SinkRunner: Unable to deliver event. Exception follows. org.apache.flume.EventDeliveryEx
如果报错是以下两条ERRORERROR flume.SinkRunner: Unable to deliver event. Exception follows.org.apache.flume.EventDeliveryException: java.lang.IllegalStateException: Empty value [channel=[channel=c2]]ERROR hdfs.HDFSEventSink: process failed解决方案删除checkpointDir=
superset登陆网面Internal Server Error
我之前使用的是gunicorn --workers 5 --timeout 120 --bind hadoop12:8787 superset:app解决方案gunicorn --workers 5 --timeout 120 --bind hadoop12:8787 superset.app:create_app()superset:app改成superset.app:create_app()官网
Superset可视化安装
目录安装Python环境安装Miniconda创建Python3.6环境Superset部署安装依赖安装Superset启动Supterset安装Python环境Superset是由Python语言编写的Web应用，要求Python3.6的环境。安装Minicondaconda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pan
Superset可视化的使用
目录对接MySQL数据源安装依赖数据源配置制作仪表盘对接MySQL数据源安装依赖conda install mysqlclient说明：对接不同的数据源，需安装不同的依赖，以下地址为官网说明http://superset.apache.org/installation.html#database-dependencies数据源配置1）Database配置点击填写Database及SQL Alchemy URI注：SQL Alchemy URI编写规范：mysql://账号:密码@IP/_superset custom sql
常用的DOS命令及其详解（切换路径等）
什么是DOS命令窗口？ DOS命令，计算机术语，是指DOS操作系统的命令，是一种面向磁盘的操作命令。在最初的计算机中并没有我们现在所看到的图形化的界面，只有DOS命令窗口，而程序员们主要通过它来进行目录操作、磁盘操作、文件操作等命令。 怎么打开DOS命令窗口？ 1.win键+r（组合键）：可以打开运行“运行”窗口，然后在运行窗口中输入：cmd，最后敲回车键。 2. 左击（XP、win7）或右击（win8、win10）“开始”菜单，点击..._dos /w命令事什么意思
Java语言的特性（小白向）
sun公司对Java的描述：“Java is a simple, object-oriented, distributed,i nterpreted, robust, secure, architecture neutral, portable, high-performance, multihreaded, and dynamic language”.翻译过来就是：“Java是一门简单的，面向对象，分布式，解释性，健壮的，安全的，结构中立的，便捷的，高性能的，多线程的，动态的语言”。简单性在Jav
从零开始的Java学习
Java前期准备： 文件名拓展名的显示：win7：组织--文件夹和搜索选项--查看--隐藏已知文件类型的拓展名（取消）--确定。 win10：查看--隐藏的文件夹开发工具的选择：为了在学习初期更好的记忆代码，不推荐使用IDEA等集成开发工具。 Editplus文本编辑器的安装： 将Editpl...
Java的加载与执行原理剖析
Java初学笔记（四）Java体系的技术被划分为三大块：JavaSE: 标准版 JavaEE: 企业版 JavaME: 微型版安装JDK后：JDK：Java开发环境 JRE：Java运行环境 JVM：Java虚拟机Java程序的两个阶段：编译阶段 运行阶段 注： Java代码这种普通文本被称为：Java源代码。源代码不能被执行，需要先进行编译，生成源代码对应的“字节码” 。字节码才能被JVM所识别。 Java代码这种普通文本变成字节码的过程，被称为：编译。...
JDK的安装步骤和环境变量的配置详解（Win10版，小白必看）
Java学习笔记（五）JDK的下载安装Java语言现在由oracle进行更新与维护，我们可以直接进入官网下载。第一步：进入官网。网址：https://www.oracle.com/index.html 第二步：点击Products，弹出菜单栏 第三步：点击Java第四步：下滑页面，点击Download Java第五步：选择需要的JDK版本（推荐JDK8，目前主流版本），点击Download第六步：下滑页面，点击下载。（官网中会提供不同的版本，根据自己操作系统进行选择与...
今日推荐
周排行