【HADOOP】“填坑”指南

Hadoop作为大数据离线分析平台环境,目前已经在各行业广泛使用,由于应用场景、环境版本、数据量等不同因素,经常会出现一些集群问题,有些问题会导致数据查询错误,有些问题会导致整个集群无法正常运行,本系列文章将列举一些问题案例,通过描述问题处理过程。   场景 数据表翻倍,导致数据表产生后无法查询。 软件环境:Hadoop 2.6 错误1 select * from table...
分类: 编程语言 发布时间: 07-25 22:48 阅读次数: 0

oracle 使用游标循环遍历一张表

当有需求需要循环遍历一张表的时候,可以使用游标做此操作,并进行一定的逻辑处理。  declare    begin   for rec in (select * from  S_LOY_WALLET) loop    -- for 循环S_LOY_WALLET这张表,并赋给rec对象     if rec.x_oldpamaacct  = '0715'                   ...
分类: 编程语言 发布时间: 07-25 22:48 阅读次数: 0

c++ cin.get() getline()

https://blog.csdn.net/a1015553840/article/details/50579396 https://blog.csdn.net/livecoldsun/article/details/25489429
分类: 编程语言 发布时间: 07-25 22:47 阅读次数: 0

【原理】VRRP详解

写在前面 keepalived是一个基于VRRP协议来实现的服务高可用方案,从而可以避免IP单点故障。一般与其他负载均衡技术,如LVS,Nginx等一起来工作来达到集群高可用的目的 关于Keepalived+LVS-DR+Nginx高可用故障切换模式的环境搭建,写过一篇博客,感兴趣可以参考:Keepalived+LVS-DR+Nginx高可用故障切换模式 这篇文章想把重点放在VRRP协议上面...
分类: 编程语言 发布时间: 07-25 22:47 阅读次数: 0

Ubuntu 安装 mysql及配置到windows可以访问

环境 Ubuntu18.06 mysql 14.14 1.虚拟机安装好以后直接输入sudo apt-get install mysql 安装mysql 2.修改MySQL的配置文件, 如果是apt-get的文件的路径应该跟我的是一样的 输入命令 vi /etc/mysql/mysql.conf.d/mysqld.cnf 把bind-address 127.0.0.1注释掉,这个步骤主要...
分类: 编程语言 发布时间: 07-25 22:46 阅读次数: 0

java使用多线程及分页查询数据量很大的数据

调用方法: import org.springframework.beans.factory.annotation.Autowired; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.concurrent.Callable; import java.util....
分类: 编程语言 发布时间: 07-25 22:45 阅读次数: 0

皇家彩世界教程下载合约机是什么意思?

合约机指的是什么样子的手机?小编今天就来给大家介绍一下合约机指的是什么。 含义介绍 1.小伙伴们在购买手机的时候肯定有听说过裸机或者合约机等名词,但有很多人表示不懂是什么意思,今天小编就来给大家介绍一下合约机指的是什么。 2.首先合约机指的就是跟通讯运营商签订了合约与手机生产商合作生产的手机,用户必须使用运营商指定的套餐才能够使用该手机。 3.合约机一般情况下在合约期内是不能够更换...
分类: 编程语言 发布时间: 07-25 22:45 阅读次数: 0

Mysql数据丢失主从数据不一致原理分析

1.MySQL数据库层丢数据场景 本节我们主要介绍一下在存储引擎层上是如何会丢数据的。 1.1.InnoDB丢数据         InnoDB支持事务,同Oracle类似,事务提交需要写redo、undo。采用日志先行的策略,将数据的变更在内存中完成,并且将事务记录成redo,顺序的写入redo日志中,即表示该事务已经完成,就可以返回给客户已提交的信息。但是实际上被更改的数据还在内存中
分类: 其他 发布时间: 07-25 22:45 阅读次数: 0

Mysql主从复制原理详解

Mysql主从复制原理 master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中,salve服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件,同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日
分类: 其他 发布时间: 07-25 22:45 阅读次数: 0

msyql启动报错之1(Unable to lock ./ibdata1, error: 11)

问题描述:启动MySQL后,出现连接不上,报 [ERROR] InnoDB: Unable to lock ./ibdata1, error: 11 [root@mysql01 ~]# service mysql start Starting MySQL                                             [  OK  ] [root@mysql01 ~]
分类: 其他 发布时间: 07-25 22:44 阅读次数: 0

MySQL ID自增的方法

MYSQL获取自增ID的方法1. select max(id) from tablename2.SELECT LAST_INSERT_ID() 函数LAST_INSERT_ID 是与table无关的,如果向表a插入数据后,再向表b插入数据,LAST_INSERT_ID会改变。在多用户交替插入数据的情况下max(id)显然不能用。这时就该使用LAST_INSERT_ID了,因为LAST_INSERT...
分类: 其他 发布时间: 07-25 22:44 阅读次数: 0

程序重启RocketMQ消息重复消费

最近在调试RocketMQ消息发送与消费的Demo时,发现一个问题:只要重启程序,RocketMQ消息就会重复消费。 那么这是什么原因导致的,又该如何解决呢? 经过一番排查,发现程序使用的RocketMQ客户端版本是3.6.2,而测试环境安装的RocketMQ环境的版本是4.1.0。原来是客户端和服务器端版本不一样导致的,消息并没有最终被消费,即没有ACK消息确认,只要程序重启就会重复消费。 解决方案:RocketMQ客户端版本使用与服务器端的同一版本,即4.1.0版本。 划重点:使用Rock
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

使用HttpClient MultipartEntityBuilder 上传文件,并解决中文文件名乱码问题

遇到一种业务场景,前端上传的文件需要经过java服务转发至文件服务。期间遇到了原生HttpClient怎么使用的问题、怎么把MultipartFile怎么重新组装成Http请求发送出去的问题、文件中文名乱码问题。最后都解决了,先上代码,再讲遇到的坑 1 @Slf4j 2 @Service 3 public class FileServiceImpl implements IFileService { 4 5 @Value("${FileService.putUrl}")
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

BZOJ3196:树套树之线段树套平衡树实现区间内平衡树修改查询

这是第二道树套树的题了,如果说是树套树的板子题,其实也不过分,毕竟树套树应该算是数据结构,乃至整个OI里,最难写的之一 这种嵌套形式比较好理解,用线段树来与要查询的区间对齐 ,在每一个线段树节点(区间)内建立一棵平衡树来维护区间内的这些数据 其实刚开始我一直不明白,树套树,两层树都有信息,是不是要同步记录一起维护?其实不是这样的 我们回想替罪羊树套权值线段树,实现动态区间的第k大查询,我们外层平衡树的子树节点数信息是依靠内层权值线段树的sum来维护的 也就是说我要把主要维护的信息放在内层树,而
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

SVN安装与版本控制详解

1 版本控制 1.1 如果没有版本控制? Team开发必备。 一个人开发(必备)。 版本控制:控制(代码)版本。 论文:版本控制? 毕业论文-4-22.doc 毕业论文-5-01.doc 毕业论文-final.doc 毕业论文-final-final.doc 毕业论文-final-final2.doc 软件的代码 备份多个版本,费空间,费时间 难于恢复至以前正确版本 容易引发BUG 解决代码冲突困难 难于追溯问题代码的修改人和修改时间 无法进行权限控制 (读 写 哪些代码开放) 项目版本发布困
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

利用python去调用shell命令时候的踩到的坑

shell中 True的返回值是0 False的返回值是1 Python中 True的返回值是1 False的返回值是0
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

Springboot @Transactional 事务不回滚

一、异常捕获的原因 这里Exception异常,他又分为运行时异常RuntimeException和非运行时异常 可查的异常(checked exceptions):Exception下除了RuntimeException外的异常 不可查的异常(unchecked exceptions):RuntimeException及其子类和错误(Error) 异常checked例外也回滚:在整个方法前加上 @Transactional(rollbackFor=Exception.class) 异常unc
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

Flume+Kafka+SparkStreaming+Hbase+可视化(二)

分布式消息缓存Kafka 1、消息中间件:生产者和消费者 生产者、消费者、数据流(消息) 发布和订阅消息 容错存储消息记录 处理流数据 Kafka架构: procedure:生产者 consumer:消费者 broker:容错存储 topic:分类主题、标签 consumer group:一个consumer最多消费一个分区的数据 consumer数量=partitions 磁盘顺序读写,省掉寻道时间,提高性能 零字节拷贝:内核空间和用户空间不直接拷贝、SendFile /opt/bigdat
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

ES6 解构赋值

一、数组的解构赋值:按照索引的顺序来解构 let [a,b]=[1,'bar']; console.log(a);//1 console.log(b);//bar let [c,,d]=[2,3,4]; console.log(c);//2 console.log(d);//4 let [f]=[5,6,7]; console.log(f);//5
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0

多线程资源隔离之ThreadLocal

上篇讲到多线程线程安全问题的解决思路,这篇将详细讲解资源隔离ThreadLocal的实践。 ThreadLocal也叫线程局部变量,类似Map结构,以当前线程为key。既然是以资源隔离的思想保证线程安全,那么保存到每个线程的对象就应该是一个副本,切记这样的对象不能是单例,如果非要使用单例创建对象,保存到每个线程的必须是单例对象的克隆对象。 图片发自简书App 下面演示一个实例来实践ThreadLocal: 图片发自简书App 图片发自简书App 图片发自简书App 图片发自简书App 通过这个
分类: 其他 发布时间: 07-25 22:40 阅读次数: 0