在一台虚拟机上做kafka集群,使用Java代码发,接消息,kafka tool的使用

1.Kafka kafka是一个开源的分布式消息系统,由linkedin使用scala编写,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。具有高水平扩展和高吞吐量。 1.1 kafka的设计目标 1.高吞吐量。 2.数据磁盘持久化:消息不在内存中cache,直接写入到磁盘,充分利用磁盘的顺序读写性能。 3.zero-copy:减少IO操作步骤。 4.支持数据批量发送和拉取。 5.支持数据压缩。 6.Topic划分为多个partiti
分类: 编程语言 发布时间: 01-18 22:28 阅读次数: 0

union不支持orderByClause、clusterByClause、distributeByClause、sortByClause或limitClause

union all union 相同点 是 相当于上下拼接 上下两个拼接表必须字段保持一致 不同 union有去重效果,速度会更慢。 ============================================================================================================================= union all的子句里不支持orderByClause、clusterByClause、distribute
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

《庖丁解牛Linux网络核心》:源码跟踪HTTP客户端访问github.com

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/jason_holan/article/details/86540116 本实验来自中科大孟宁老师教的《Linux网络程序设计》课程实验部分。 课程通过搭建linux内核调试环境,将编写的http客户端集成到MenuOS中,从linux源码出发 学习网络中的协议具体是如何收发的。 实验代码及参考: https://github.com/mengning/linuxnet/blob/master/n
分类: 编程语言 发布时间: 01-18 22:28 阅读次数: 0

UVA12253 【简单加密法 Simple Encryption】

这题到现在还是只有我一个人过? 太冷门了吧,毕竟你谷上很少有人会去做往年ACM比赛的题 题面意思很简单,每次给出\(K_1\),让你求一个\(K_2\)满足\(K_1^{K_2}\equiv K_2(\mod 10^{12})\) 题目乍一看很有数学风格,看到取模和幂次想到什么? 费马大小定理,BSGS,二次探测?,不过在这里好像都用不了啊。 所以我们先考虑一个最朴素的想法:爆搜,每次直接枚举每一位上放什么数字,然后快速幂判断。 这样肯定T飞啊,所以我们进行一个大力观察,我们手玩下第二个样例:
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

20190118_xlVBA多表合并

Public Sub simple() Set wb = ActiveWorkbook Set sht = ActiveSheet msg = MsgBox("程序准备清除活动工作表内容?按是确认,按否退出!", vbYesNo, "Tips") If msg = vbNo Then Exit Sub msg = MsgBox("请您确认是否对本文件做好了备份,宏运行之后不可恢复?按是确认,按否退出!", vbYesNo, "Tips") If
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

C++与STL知识点(2019.1.18)

1.作用对象:数组 a[n] 头文件:#include<algorithm> 内容:sort(a,a+n) 功能:进行升序排序 内容:lower_bound(a,a+n,x) 功能:找到大于等于x的位置 int pos=lower_bound(a,a+n,x)-a; 可以判断x是否存在于该数组 如果存在返回x在的位置pos,x=a[pos-1] (n>pos>0) 如果不存在的话放回pos为大于x的下标(n>=pos>=0)
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

廖雪峰Java2面向对象编程-6Java核心类-1字符串和编码

Java的字符串用String表示 1.String特点: 可以直接使用"..."表示一个字符串,不必使用new String:String s1 = "hello world"; 内容不可变 String s = "hello world"; System.out.println(s.equals("hello world")); 2.判断是否相等equals ` String s = "hello world"; s.equal
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

分布式SSM项目--------------EnjoyShopping-day01

$说明: 待续!
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

Java注解基本介绍

注解(Annotation),又称元数据(MetaData),提供了一种在代码中添加信息的形式化的方法,将元数据和源代码结合在一起。 外部配置文件如XML存在的问题: 代码复杂度较高,需要编写很多重复信息,如包名和全类名,而这些信息在源文件中都已经存在了。 可能需要同时维护源文件和XML,如添加了新的注入对象,可能导致代码同步问题。 要求程序员了解如何编写XML文件。 使用注解则只需要在代码源文件中进行编写维护简单的注解标识,而其它信息都能从这个源文件获取到。 Java内置注解 三种标准注解:
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

day61 Pyhton 框架Django 04

内容回顾 1.django处理请求的流程: 1. 在浏览器的地址栏输入地址,回车发get请求; 2. wsgi模块接收请求; 3. 在urls.py文件中匹配地址,找到对应的函数; 4. 执行函数,返回响应。 2.发请求的方式: 1. 输入地址 —— GET 2. form 默认是get 3. form 发post请求 4. a标签 get 3.函数的返回值 HttpResponse('显示的内容') —— 》 字符串 render(request
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

利用分块传输吊打所有WAF--学习笔记

在看了bypassword的《在HTTP协议层面绕过WAF》之后,想起了之前做过的一些研究,所以写个简单的短文来补充一下文章里“分块传输”部分没提到的两个技巧。 技巧1 使用注释扰乱分块数据包 一些如Imperva、360等比较好的WAF已经对Transfer-Encoding的分块传输做了处理,可以把分块组合成完整的HTTP数据包,这时直接使用常规的分块传输方法尝试绕过的话,会被WAF直接识别并阻断。 我们可以在[RFC7230]中查看到有关分块传输的定义规范。 4.1. Chunked
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

曾国藩:从30岁起,脱胎换骨

曾国藩之于后人的最大意义是,他以自己的实践证明,一个中人,通过“陶冶变化”,可以成为超人。 文︱张宏杰 节选自《曾国藩的正面与侧面》 1 三十岁以前是庸人 曾国藩的老家是湖南省湘乡县大界白杨坪。地处离县城一百三十里的群山之中,虽山清水秀,风景不恶,但交通不便,消息闭塞。曾国藩在诗中说这里“世事痴聋百不识,笑置诗书如埃尘。” 2008年四月,我去探访这个地方,发现它到现在似乎也不怎么需要与外界打交道,班车次数极少。我从韶山出发,居然辗转颠簸了整整一天,换了五次车(包括摩的),才到达这里。在晚清时
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

SciKit-Learn包安装问题

pip install scikit-learn 如果失败的话,可以考虑直接升级pip 我原先的pip版本是10.0.1 安装失败 升级pip到18.1后,在安装就成功了
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

2323

123
分类: 其他 发布时间: 01-18 22:28 阅读次数: 0

rsync 守护进程daemon

服务端配置:rsync的配置文件是/etc/rsyncd.conf。注意这个文件默认是不存在的,需要手动创建。 下面是一个配置好的rsyncd.conf ######rsyncd.conf####### uid = rsync ----à非系统虚拟用户 gid = rsync use chroot =no -à防止出现安全问题 maxconnections = 200 --à最大连接数 timeout = 300 --à超时时间 pid file =/var/run/rsyncd.pid --
分类: 其他 发布时间: 01-18 22:27 阅读次数: 0

软件测试:第2次作业 -- 熟悉 JUnit 测试

1、Mooctest 使用心得 通过WebIde直接运行测试时非常慢,一直显示正在排队中,我还以为是我网的问题,但是后来换了热点,还是很卡,但是很方便,而且WEBIDE的代码编辑页面非常帅,当在eclipse中使用插件的时候,非常方便,最重要的是运行速度非常快速 2、Junit 编写代码经验总结 (1)测试方法上必须使用@Test进行修饰; (2)测试方法必须使用public void进行修饰,并且不能带有任何的参数; (3)新建一个源代码目录来存放我们的测试代码,会生成3个目录,一个是源代码
分类: 其他 发布时间: 01-18 22:27 阅读次数: 0

python编程规范系列--建议08~18

  本系列来自《编写高质量代码 改善python程序的91个建议》的读书笔记整理。   本章主要内容 建议8:利用assert语句来发现问题 建议9:数据交换值时不推荐使用中间交换变量 建议10:充分利用Lazy evaluation的特性 建议11:理解枚举替代实现的缺陷 建议12:不推荐使用type来进行类型检查 建议13:尽量转换为浮点类型再做除法 建议14:警惕eval()的安全漏洞 建议15:使用enumerate()获取序列迭代的索引和值 建议16:分清==与is的适用场景 建议1
分类: 其他 发布时间: 01-18 22:27 阅读次数: 0

遗传分化一些基本概念

群体遗传学中衡量群体间分化程度的指标有很多种,最常用的就是Fst指数。 Fst指数,由F统计量演变而来。F统计量(FIS,FIF,FST)主要有三种。 Fst是针对一对等位基因,如果基因座上存在复等位基因,则需要用Gst衡量,基因差异分化系数(gene differentiation coefficient,Gst)。 假定有s个地方群体,第k个地方群体相对大小为wk,第k个地方群体中第i个等位基因频率为qk(i),杂合体频率观察值为hk,那么整个群体中观察到的杂合体频率平均值HI,地方群体为
分类: 其他 发布时间: 01-18 22:27 阅读次数: 0

甲级1003 Emergency

1003 Emergency (25 分) As an emergency rescue team leader of a city, you are given a special map of your country. The map shows several scattered cities connected by some roads. Amount of rescue teams in each city and the length of each road between
分类: 其他 发布时间: 01-18 22:27 阅读次数: 0

多项式板子·新

之前写过一个vector的多项式汇总。。。不过常数特别大 最近事儿比较少,准备写一个int[]的 目前没写完,先打了发多项式求逆,蛙了好几发。。。 最后发现递归下去回来之后忘了清系数了。。。 int[]版的主要是数组大小和高位系数比较恶心,还有数组清空啥的。。。 不过常数肯定比vector小很多,所以还是尝试写一下好了 #include <cstdio> #include <algorithm> using namespace std; const int p = 998244353; i
分类: 其他 发布时间: 01-18 22:27 阅读次数: 0