SpringBoot集成mqtt配置
Backgroundspringboot 集成mqtt实现发布、订阅消息的功能application.yml配置# Mqtt配置mqtt: serverURIs: tcp://localhost:1883 username: admin password: public client: id: ${random.value} topic: topic_defaultMqttConfigpackage com.cloudansys.config;imp
centos7.7离线安装DockerCE最新版
Backgroud有时客户给的服务器在内网，不能上网，为了方便程序的安装部署，可以借助docker，而docker可以使用离线安装，这里我们安装最新版的，具体步骤如下：一、第一部分（在能连网的服务器上）1.1 配置安装源存放路径mkdir -p /root/docker-ce-local && cd /root/docker-ce-local1.2 获取createrepo安装包yum install --downloadonly --downloaddir=/root/d
基于yarn模式Flink任务的基本操作
这里写自定义目录标题Background提交一个任务（或称启动一个Flink集群）触发保存点（保存点需手动触发，检查点会自动触发）停止（或称取消）任务并创建保存点从保存点恢复任务Background大数据平台是基于CDH6.2搭建的，具体可以参考【Centos7.5+CDH 6.2搭建大数据平台】，Flink（1.9.0） 集群是后来集成的，具体可参考【CDH6.2/6.3 集成安装Flink 简明教程】在yarn模式下，Flink 的相关命令和其他模式的所有不同，实验总结记录方便以后查找，相关
CentOS7.6 扩展磁盘容量(分区、格式化、卷扩容)
Backgroud公司买的国科云查看硬盘挂载情况sdb为挂载的硬盘[root@Cloud01 ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 50G 0 disk├─sda1 8:1 0 1G 0 part /boot└─sda2 8:2 0 49G 0 part ├─centos
shell脚本实现自动交互免密登录（基于expect）
Background最近在给公司搭建大数据集群（Centos7），需要做免密登录，十几台机器，生成密钥后需拷贝到相应的机器，不用shell脚本操作太麻烦了，就研究了下怎么脚本拷贝密钥时自动输入yes和密码，操作记录如下：1 下载expectyum -y install expect2 expect基本指令介绍spawn shell 执行shell命令程序 expect "捕获到shell 命令程序执行之后输出的字符串" send "发送给 shell 命令程序的字符串"3 s
Centos7安装MySQL5.7及基本配置
Background这里我们把rpm包下载下来，下载地址（https://repo.mysql.com/yum/mysql-5.7-community/el/7/x86_64/mysql57-community-release-el7-10.noarch.rpm），离线安装yum源，然后使用yum安装，使用yum安装的好处在于，它会自动安装依赖包，以及替换包（例如CentOS7自带的mariadb-libs.x86_64 1:5.5.60-1.el7_5），操作记录如下：1 安装yum源将下载的
基于CDH6.2的Kafka集群外网访问配置
Backgroud最近遇到这样一个情况：基于CDH6.2在国科云上搭建了一套大数据的环境，没有给v-p-n，在内网可以正常访问Kafka集群，但是在window开发环境下无法访问（其实是无法访问9092端口，无法生产和消费数据），通过尝试最终解决问题，如下记录：修改kafka.properties在kafka.properties中添加下面两行，node01是Kafka节点IP。但是在CDH环境下，kafka.properties是动态生成的，直接修改配置文件没用，需要在CDH的管理界面修改配
shell 脚本匹配一行然后替换整行（全局替换）
Backgroudgrep、sed和awk俗称Linux三剑客grep常用于字符串搜索功能sed常用于以行为单位对文本进行处理awk是更为细粒度的处理，可以指定分隔符将一行（一条记录）划分为多个字段，然后以字段为单位处理文本，几乎可以实现grep和sed所能实现的所有功能实例有一个文件 logicaltool.sh，我们要替换其中的一行，如下server_num= ps -ef | grep logical_tool | wc -l整行替换为server_num= ps -e
服务启动、停止、状态和日志查看等shell脚本
Background以Redis服务为例，该shell脚本可以通过传入不同的参数实现服务的启动、停止、服务运行状态查看、服务运行日志查看和进入服务shell命令界面等功能。直接上脚本operator.sh用法可以使用help参数查看哈，用法例如：先赋执行权限chmod +x operator.sh查看帮助命令operator.sh help#!/bin/bash # # 服务基本信息operate=$1ps_1='./redis-server'pid_1=`ps -ef |
CDH6.2相关问题汇总（定期更新）
Background在公司搭建了一套大数据平台 ，基于CDH6.2，在使用过程遇到的问题会在此记录，以便在以后的工作中不断完善。Trouble 1Host Cloud01 has upper-case characters in its name. Authentication through Kerberos will not work correctly in this case.solution：主机名host尽量不要使用大写。Trouble 2Java HotSpot(T
python3操作MySQL工具类（实现增删改查）
Background公司有业务需求需要在MySQL中批量创建表，于是用python封装了个工具类进行操作，记录下来，不定以后用的到。表名和表的字段如下图所示。python脚本如下from pymysql import connect# 一、创建传感器测点表class MySQLUtil(object): # 初始化方法 def __init__(self, host, database='default', user='root', password='123456'
传感器监测数据实时存储、计算和展示（RabbitMQ-Flink-InfluxDB）
BackgroudGoal: 目前一直在做传感器监测类项目，包括地震、桥梁、大厦、体育场、高铁站房、爬模架、风电塔筒等的监测。传感器类型包括GPS、应变、位移、温度、振动、索力、精力水准仪、倾角仪、气象站等。数据采集频率从分钟级到毫秒级不等。需求大同小异，一般需要存储原始监测数据、实时计算、阈值告警等。Design: 此类时序数据的存储采用influxDB，实时计算采用Flink，所有传感器数据都接入RabbitMQ（本来想用Kafka，但前期架构不好改了）。Tool: 这里分享一个数据模拟软件（传
JAVA 后台开发规范
本篇规范基于阿里巴巴、华为的开发手册。感谢前人的经验和付出，让我们可以有机会站在巨人的肩膀上眺望星辰大海。规范不是为了约束和禁锢大家的创造力，而是为了帮助大家能够在正确的道路上，尽可能的避免踩坑和跑偏。规范可以让我们无论单枪匹马还是与众人同行的时候都能得心应手。规范可以让我们在面对日益变态的需求和做代码接盘侠的时候，更优雅从容。规则并不是完美的，通过约束和禁止在特定情况下的特性，可能会对代码实现造成影响。但是制定规则的目的：为了得到更多的好处，如果在团队实际运作中认为某个规则无法遵循或有更好的..
Centos7.6安装MySQL5.7.25（所有步骤可直接复制粘贴）
1. 下载wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz2. 检测是否有旧版本或者以前的安装残留rpm -qa | grep mysql如有，类似mysql-libs-5.1.52-1.el6_0.1.x86_64卸载rpm -e --nodeps mysql-libs-5.1.52-1.el6_0.1.x86_643. 检查是否存在 mari
【PyQt5编写游戏俄罗斯方块】【Python3 将.py转换为.exe】【实例演示】
Backgroud关于python打包成Windows可执行程序网上相关教程一堆，但由于版本、个人环境不同等原因，结果查找了十几篇博客才成功。创建电脑游戏是一个提高编程技能的好方法。PyQt5是一种用于创建应用程序的工具。还有其他的库是针对创建电脑游戏。我们这里使用PyQt5编写一个简单的游戏【俄罗斯方块-Tetris】。相关记录如下：PromiseYou are sure to succeed，as long as you follow this tutorial，as all the
Java后台推送告警信息到钉钉（工具类-可直接使用）
Background网上此类相关教程有很多哈，但是，都不能直接拿来用，还需要自己拿过来封装调试下，这里是参考别人的实现自己的过程，做下记录，方便以后查阅：1、建立一个钉钉群人数要大于等于三人（不然还群聊个锤子…），一般需要在电脑端操作，下面添加机器人也是。2、添加机器人在【群设置】【智能群助手】【添加机器人】添加一个【自定义机器人】。3、拿到url、token 和 secret注意：这里secret有很长，全选是可以复制的。4、DingTalkUtil 工具类pack
【Rabbit MQ】数据源模拟程序【python3】【指定频率】【多线程】【pika】
Backgroud该程序是用python3开发的，基于pika【pika是AMQP协议client端的一个python实现。其他的client端的python库还有如kombu，py-amqplib等】。发送的数据是程序内模拟产生的各类传感器监测数据，具体数据格式下面详细介绍。数据发送可以指定发送频率，【最高支持毫秒级】，不支持微秒等更高频率的，还可以配置传感器的数量。需要注意，配置的频率越高、传感器的个数越多，数据发送频率误差越大，目前我使用的配置是300个位移传感器，频率是20HZ，200个位移
CentOS7 防火墙快速开放端口/删除端口的方法
CentOS6使用iptables控制Linuxs的端口，这里不做介绍，自行百度。CentOS7使用firewalld代替了原来的iptables。下面记录如何使用firewalld开放Linux端口：（这里以端口9090为例）查询有哪些端口是开启的firewall-cmd --list-port查询9090端口是否开启：firewall-cmd --zone=public --add-port=9090/tcp --permanent开启端口 （例：9090）firewall-cmd .
今日推荐
周排行