SpreadJS 纯前端表格控件应用案例：SPDQD 质量数据云
由重庆筑智建建筑科技有限公司研发的SPDQD质量数据云，是一套面向广大施工技术人员，针对施工现场质量技术资料在线编制、管理，支持多人实时在线协作的工具。下面，让我们一起来看看重庆筑智建建筑科技有限公司是如何在“SPDQD质量数据云”项目中应用表格技术实现“文档协同编辑”和“数据填报”等功能模块的。项目背景“SPDQD质量数据云”是国内首个针对施工资料的在线编制工具，面向广大施工技术人员，提供施工现
js数组对象的属性和方法，以及数组的遍历，去重
内建对象;由es标准定义的对象 数组Array:和普通对象类似，数组是使用数字作为索引操作元素。 索引：index。从零开始 的整数； 数组的存储性能比普通对象好， 创建数组对象 var arr=new Array(); //添加元素 数组[0]=10 arr[0]=10; arr[1]=89; // console.log(arr); // 读取不存在的索引，返回...
js 日期Date对象
函数的方法 ：call()和apply()函数对象的方法，通过函数对象来调用。可以将一个对象指定为第一个参数，此时这个对象成为函数执行时的thiscall方法可以将实参在对象之后依次传递，apply将实参封装到一个数组中在进行传递。arguments 参数列表调用函数，传入this，和arguments即使不定义形参，也可以通过arguments使用实参arguments.length实参的长度。arguments.callee对应一个函数对象，就是当前正在执行的函数对象Dat..
js的Math对象介绍及其方法应用
Math的方法应用：<script> //Math不是构造函数，不用创建对象，里边封装了数学运算相关的属性和方法； console.log(Math.PI); //abs()计算一个数的绝对值 console.log(Math.abs(-3)); // Math.ceil()对一个数进行向上取整，小数位只要有值，就自动进一； // Math.floor()对一个数向下取整，小数部分会被射掉； console.log(Math.floor(...
日志采集 Flume 启动停止脚
1）在/usr/local/bin目录下创建脚本f1.shvim f1.sh在脚本中填写如下内容#! /bin/bashcase $1 instart){ for i in hadoop12 hadoop13 do echo ----------$i flume启动----------- ssh $i nohup /export/servers/flume/bin/flume-ng agent --name a1 --conf-fi_停掉flume
电商数仓-(Kafka的常用命令,Kafka的压力测试,Kafka机器数量计算)
目录Kafka的常用命令Kafka的压力测试Kafka机器数量计算Kafka的常用命令1.查看Kafka Topic列表bin/kafka-topics.sh --zookeeper hadoop12:2181 --list2.创建Kafka Topicbin/kafka-topics.sh --zookeeper hadoop12:2181,hadoop13:2181,hadoop14:2181 --create --replication-factor 1 --partitions 1 -
电商数仓-(集群规划,消费Flume配置,Flume内存优化,Flume组件,日志消费Flume启动停止脚本,采集通道启动/停止脚本,Flume消费Kafka到HDFS上-HDFS上没有)
目录日志消费Flume配置Flume内存优化Flume组件日志消费Flume启动停止脚本采集通道启动/停止脚本日志消费Flume配置1.Flume的具体配置如下：（1）在hadoop14的/export/servers/flume/conf目录下创建kafka-flume-hdfs.conf文件a1.sources=r1 r2a1.channels = c1 c2a1.sinks = k1 k2a1.sources.r1.type = org.apache.flume.source.ka_电商数仓项目 kafka-flume-hdfs.conf
Hadoop高频面试题
Hadoop 相关总结Hadoop 常用端口号Hadoop 配置文件以及简单的 Hadoop 集群搭建HDFS 读流程和写流程MapReduce 的 Shuffle 过程及 Hadoop 优化（包括：压缩、小文件、集群优化）Shuffle 机制Hadoop 优化压缩切片机制Yarn 的 Job 提交流程Yarn 的默认调度器、调度器分类、以及他们之间的区别项目经验之 LZO 压缩Hadoop 参数调优项目经验之基准测试Hadoop 宕机Hadoop 解决数据倾斜方法Hadoop 常用端口号➢ dfs.n
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
解决方法：（1）关掉虚拟内存检查，修改 yarn-site.xml，在/export/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> （2）修改后一定要分发，并重新启动 hadoop 集群。 xs
nohup bin/hive --service metastore &启动之后,自动退出
解决方案：在hive-site.xml下增加<property> <name>hive.metastore.schema.verification</name> <value>false</value></property><property> <name>datanucleus.schema.autoCreateAll</name> <value>true<
电商中SKU和SPU到底是什么
SKU=StockKeepingUnit（库存量基本单位）：现在已经被引申为产品统一编号的简称， 每种产品均对应有唯一的 SKU 号。SPU（StandardProductUnit）：是商品信息聚合的最小单位，是一组可复用、易检索标准化信息集合。例如：iPhoneX 手机就是 SPU。一台银色、128G 内存的、支持联通网络的 iPhoneX， 就是 SKU。..._电商中sku与spu是什么意思
电商数仓-同步策略(全量同步策略,增量同步策略,新增及变化策略,特殊策略)
目录同步策略全量同步策略增量同步策略新增及变化策略特殊策略同步策略数据同步策略的类型包括：全量表、增量表、新增及变化表 全量表：存储完整的数据。 增量表：存储新增加的数据。 新增及变化表：存储新增加的数据和变化的数据。 特殊表：只需要存储一次。全量同步策略增量同步策略新增及变化策略每日新增及变化，就是存储创建时间和操作时间都是今天的数据。适用场景为，表的数据量大，既会有新增，又会有变化。例如：用户表、订单表、优惠卷领用表。特殊策略某些特殊的维度表，可不必遵循上述同步策_表的同步策略
Sqoop的简单使用案例
目录RDBMS到HDFS全部导入查询导入导入指定列使用sqoop关键字筛选查询导入数据RDBMS到HiveRDBMS到HbaseHIVE/HDFS到RDBMS脚本打包RDBMS到HDFS1.确定Mysql服务开启正常2.在Mysql中新建一张表并插入一些数据$ mysql -uroot -prootmysql> create database company;mysql> create table company.staff(id int(4) primary key not nul
电商数仓-(数仓分层概念+数仓理论)
目录为什么要分层数据集市与数据仓库概念数仓命名规范为什么要分层数据集市与数据仓库概念数仓命名规范表命名 ODS层命名为ods_表名 DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名 DWT层命名为dwt_购物车 ADS层命名为ads_表名 临时表命名为xxx_tmp 用户行为表，以log为后缀。脚本命名 数据源_to_目标_db/log.sh 用户行为脚本以log为后缀；业务数据脚本以db为后缀。..._ods dwt 数仓
电商数仓-(业务数据导入HDFS)
脚本编写1.在/usr/local/bin目录下创建vim mysql_to_hdfs.sh添加如下内容：#! /bin/bashsqoop=/export/servers/sqoop/bin/sqoopdo_date=`date -d -1 day +%F`if [[ -n $2 ]]; thendo_date=$2fiimport_data(){$sqoop import \\--connect jdbc:mysql://hadoop12:3306/gmall \\--.
Exception in thread “main“ java.lang.StackOverflowError
错误信息Exception in thread main java.lang.StackOverflowError at sun.nio.cs.UTF_8$Encoder.encodeLoop(UTF_8.java:691) at java.nio.charset.CharsetEncoder.encode(CharsetEncoder.java:579) at sun.nio.cs.StreamEncoder.implWrite(StreamEncoder.java:271) at sun.
hive中get_json_object 函数的使用
1.输入数据 xjsonXjson=[{name: 大 郎 ,sex: 男 ,age:25},{name: 西 门 庆 ,sex: 男,age:47}]2.取出第一个 json 对象SELECT get_json_object(xjson,$.[0]) FROM person;结果是：{“name”:“大郎”,“sex”:“男”,“age”:“25”}3.取出第一个 json 的 age 字段的值SELECT get_json_object_hive get
配置hive日志目录
在/hive/conf/下修改mv hive-log4j2.properties.template hive-log4j2.properties打开hive-log4j2.propertiesvi hive-log4j2.properties修改_hive日志配置说明
今日推荐
周排行