linux 解决生产问题必备命令「日志快速定位分析」
1.背景如今程序员生产的代码99%都部署在linux环境下，代码发现缺陷，程序员的第一反应是到linux下拉日志下来看。学习目标 学会运用linux命令快速分析生产日志 用linux命令解决常见环境问题 推荐终端工具 SecureCRT xshell MobaX 2.常见命令（1）tail 【实时看日志】# 实时查看日志tail -f *.log# 实时看异常日志tail -f error.log（2）vi...
Apache Hive 3.X版本 HiveServer2 insert overwrite大量数据 报错内存溢出 GC overhead limit exceeded return code -10
1.执行语句insert overwrite 语句，将text格式的表导入到orc格式的表中，数据量为10G2.报错内容报错信息，通过hive.log查看，也可以通过HiveServer2 的Web:http://${自定义IP}:10002/查看org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code ...
Zookeeper（三）配置文件zoo.conf 常用命令 异常启动 Unable to start AdminServer
Zookeeper运行在集群模式下，把所有安装Zookeeper的主机统称为为quorum，quorum中的所有机器都有相同的配置文件，以下配置文件以三个机器为例，配置文件名为zoo.conf主机名为：node1 node2 node31.配置zoo.conf文件zoo.conf文件在conf目录下tickTime=2000dataDir=/hadoop/zookeeperdataLogDir=/hadoop/zookeeperclientPort=2181initLim.
Linux命令 split 文件分隔成指定数量小文件
1.含义 split可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志2.语法split（options）（file）PREFIX3.参数-b：值为每一输出档案的大小，单位为 byte。-C：每一输出档中，单行的最大 byte 数。-d：使用数字作为后缀。-l：值为每一输出档的列数大小。PREFIX:代表前导符，可作为切割文件的前导文件。4.实例（1）生成一个大小为100KB的测试文件：...
Java HashMap面试题 二十一问 （转载）
1：HashMap 的数据结构？A：哈希表结构（链表散列：数组+链表）实现，结合数组和链表的优点。当链表长度超过 8 时，链表转换为红黑树。transient Node<K,V>\[\] table;2：HashMap 的工作原理？HashMap 底层是 hash 数组和单向链表实现，数组中的每个元素都是链表，由 Node 内部类（实现 Map.Entry接口）实现，HashMap 通过 put & get 方法存储和获取。存储对象时，将 K/V 键值传给 put(
Kafka 验证部署（单机版）kafka-producer-perf-test.sh 吞吐量测试工具的基本使用
1.测试topic创建与删除（1）创建一个测试topic，名为test-topic。创建3个分区，每个分区分配1个副本（因为是单机kafka,如果是集群的话可以分配多个副本），如果分配的副本数大于broker的数量时，会报错bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test-topic --partitions 3 --replication-factor 1（2）查看topic是否创建成功.
PostgreSQL 存储过程 常用语法（高级）PERFORM DIAGNOSTICS RETURN
来源网址：https://github.com/digoal/blog/blob/master/201704/20170412_02.md1.执行无结果调用语法PERFORM query;通常被用来判断是否有记录，如下：CREATE OR REPLACE FUNCTION public.test_perform()RETURNS void AS $BODY$DECLAREBEGINPERFORM 1 from public.pgbench_bran...
PostgreSQL（二） 索引介绍 索引扫描方式（gin索引 pg_trgm模糊查询索引原理）
1.索引的意义1.1索引的优点创建索引能够加快对表的查询，排序，以及唯一约束的作用。索引能够提供给优化器更好的值分布统计信息。1.2索引的缺点创建索引会增加数据库的存储空间，在计算数据库的容量大小时需要计算表和索引的总空间大小。在创建完索引之后的表，执行插入、更新和删除操作时，索引需要更新，故耗时会成倍增加。2.索引管理2.1创建索引创建索引时，不能包括schema模式名，因为索引默认被创建在其基表所在的模式中，创...
PostgreSQL（三） 内存参数优化和原理（work_mem）内存表 pgfincore插件使用方法
1.常用内存参数1.1 shared_buffersshared_buffers是PostgreSQL用于共享缓冲区的内存，是由8kb大小的块所形成的数组。PostgreSQL在进行更新、查询等操作时，首先从磁盘把数据读取到内存，之后进行更新，最后将数据写回磁盘。shared_buffers可以暂时存放从磁盘读取的数据，能够让用户下次访问不需要去磁盘直接从里面读取出来，增加查询效率。shared_buffers的系统默认值通常为128MB。但是当PostgreSQL服务器的内存大于1G时，则shar
PostgreSQL 全量 增量 归档 备份工具 pg_rman介绍与使用（二）
1.介绍 PostgreSQL已经支持类似的Oracle的rman的备份工具的功能，支持全量，增量，归档三种备份模式，支持压缩，支持备份集的管理等。 pg_rman使用的是pg_start_backup（），copy，pg_stop_backup（）的备份模式，pg_rman跑的不是流复制协议，而是文件拷贝，所以pg_rman必须和数据库节点跑在一起。如果在待机节点跑pg_rman，pg_rman则需要通过网络连接到主节点执行pg_start_backup和pg_stop_backup.pg_...
PostgreSQL 10.x版本 分区表优缺点 详细解释分析 partition语法 分区表的使用
参考：http://www.postgres.cn/news/viewone/1/271分区字段选择：如果分区的目的只是为了切分数据，那么通常分区的字段需要选择与实际入库时间更接近的那个字段，因为更好管理一些1.分区表的说明 操作性相当便捷。但只能在创建时决定是否为分区表，并决定分区条件字段，普通表创建后，不能在修改为分区表。Note：通过其他方法也可转化为分区表。和其他数据库一样，分区表作为一个DB的特性，优点自不用说，物理分散，逻辑统一。必须要注意的一个缺点是：分区表不允许其他...
PostgreSQL pg_trgm扩展安装 模糊查询 使用原理
1.pg_trgm安装（1）安装btree_gin和pg_trgm# 需要先进入pg源码包中su - postgrescd contrib/pg_trgm/make && make install安装pg_trgm扩展时需要安装btree_gin才可以使用cd contrib/btree_gin/make && make install（2）创建扩展 安装的扩展默认都是在pg_catalog这个schema下面。也...
Greenplum 主备节点(master和standby)手动切换 步骤详细
1.准备本次针对GP6.x版本之前主备节点：master:node01standbymaster:node02查看集群备用节点状态：gpstate -f20190104:14:34:34:261113 gpstate:node01:gpadmin-[INFO]:-Starting gpstate with args: -f20190104:14:34:34:261113 gpstate:node01:gpadmin-[INFO]:-local Greenplum Ve.
Vertica 基本架构介绍 常用参数 常用SQL语句（非常有用~~）（一）
1.Vertica架构Vertica是一款基于列存储的MPP（大规模并行处理）架构的数据库，它可以支持存放PB级别的结构化数据。（1）MPP架构 该结构由多个完全独立的处理节点构成，每个处理节点具有自己独立的处理器、独立的内存（主存储器）和独立的磁盘存储，多个处理节点在处理器由高速通信网络连接，系统中的各个处理器使用自己的内存独立地处理自己的数据。 在这种结构中，每一个处理节点就是一个小型的数据库系统，多个节点一起构成整个的分布式的并行数据库系统。由于每个处理器使用自己的资源处理...
Kafka topic常用命令 查看 创建 修改 彻底删除topic（删除数据目录和在zk上的信息）
1.创建topic命令格式：注意空格./kafka-topics.sh --create --topic topic名称--partitions分区数--replication-factor备份数--zookeeperZooKeeper的任意一个节点或者全部的IP:Port/kafka示例：./kafka-topics.sh --zookeeper 192.168.61.102:24002,192.168.61.202:24002,192.168.61.104:24002/ka...
Hive 数据存储格式 orc格式
修改查看当前默认文件存储格式set hive.default.fileformat;set hive.default.fileformat=Orc;1.数据存储格式（1）textText是最简单最常见的存储格式，它是纯文本记录，也是Hive的默认格式。# 存储方式行存储# 特点空间利用率低有序列化和反序列话的开销建表语句：create table inventory( inv_date_sk int, inv_item_sk ...
Hadoop hdfs dfs命令 最常见经常使用的命令 入门推荐
1.常用命令下列的hdfs命令，都是在实际工作中经常会用到的，如果要看全部的命令可以直接使用hdfs dfs，会显示所有的命令。使用hdfs dfs -help能够查看每个命令的使用方法（1）help hdfs命令帮助hdfs dfs -help（2）ls 查看hdfs目录下内容命令格式：hdfs dfs -ls [文件目录]hdfs dfs -ls /结果：drwxr-xr-x - hdfs hdfs 0 2020-11-04 11:36 /HiBenc...
Hive 基于MR引擎 map和reduce数的参数控制原理与调优经验
1.概述主要对基于MR的map数和reduce数测试与调优2.数据准备（1）表信息本次测试的表和sql都是使用的TPC-DS，表文件存储格式为text 表名 是否压缩 总数 占用空间 文件数 date_dim 否 73049 9.8 M 1 item ...
Hive 常用的DDL语句大全 建库建表 详细
1.创建库（1）语法结构CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] //关于数据块的描述 [LOCATION hdfs_path] //指定数据库在HDFS上的存储位置 [WITH DBPROPERTIES (property_name=property_value, ...)]; //指定数据块属性默认地址：/use...
Hive 压缩种类介绍 常用压缩参数 hive.exec.compression.intermediate 中间压缩 压缩优化
1.Hive压缩尽管Hadoop的文件系统支持对于非压缩数据的线性扩展存储，但是对数据进行压缩还是有很多好处的。压缩通常能节约磁盘空间。压缩同样可以增加吞吐量和性能。压缩和解压缩会增加额外的CPU开销，不过，通过减少载入内存的数据量而提高I/O吞吐量会更加提高网络传输性能。Hadoop的job通常是I/O密集型而不是CPU密集型的。如果是这样的话，压缩可以提高性能。不过如果用户的job是CPU密集型的话，那么使用压缩可能会降低执行性能。确定是否进行压缩的唯一方法就是尝试不同的选择，并测量对...
今日推荐
周排行