mac 下 redis 集群的搭建
1、创建6个节点 在 /usr/local 目录下创建redis-cluster文件夹，然后在里面创建 redis01 － redis06 六个文件夹 2、拷贝文件（下载好redis 官网 ：https://redis.io 现在最新版本是3.2.6） 把redis 包里面所有文件复制到六个文件夹里面去（如果有dump.rdb 要删除） 3、设置每一个文件夹 redis.conf 里面的端口号 设置六个文件夹端口号为7001 － 7006 port 7001 port 7002 port 70
泰勒公式浅谈原理（转） ----- 深度好文， 一点是如何蕴含整个世界
泰勒公式浅谈原理（转） 上周写完了《《三体》读后思考-泰勒展开/维度打击/黑暗森林》后收到一些邮件，进一步思考了关于泰勒展开的意义。也许我掌握的那些网络技术比如Linux Netfilter，NAT之类，太过底层太过小众，所以大家几乎都是没有感兴趣的，倒是这种科普性质的文章和那些吐槽类的文章，会引发一系列的互动，这对我来讲是好事，因为我喜欢跟人交流技术和思想。 声明 本来这篇文章应该添加在《三体》读后感后的“补遗”一节呢，后来觉得太长了，有点喧宾夺主的意思，就单独写了一篇文章。 其实吧，这
leecode23 合并K个排序链表
/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ class Solution { public ListNode merge2Lists(ListNode l1,ListNode l2) { ListNode head=new ListNode(0);//主要的tips1：如何实
leecode7:整数反转
class Solution { public int reverse(int x) { if(x<-2147483648||x>2147483647) return 0;//tips1:范围很重要 int flag=1; if(x<0) {flag=-1;x=-1*x;} String s=""; s=s+x; s=reverse2(s); try{ Integer.parseInt(s); }catch(NumberFormatException e)//第一次体会到，try catch的
NLPIR(ICTCLAS2015)分词工具Java开发简介
分词往往是自然语言处理的第一步。在分词的基础上，我们可以进行关键字的提取、搜索、纠错等应用。在理论上，分词可以采用的方法有很多，最经典的办法莫过于HMM模型、CRF及其它语言模型如Bigram、Trigram等。NLPIR(又名：ICTCLAS2015)是由中科院张华平博士研发的，基于HMM模型免费分词软件。早期的版本名为ICTCLAS+年份。由于分词的内核是由C语言写成的，因此对于Java的开发人员不是十分地方便。不过好在Java的本地接口技术可以帮助我们应付简单的开发和测试。下面就是本人用
C++ Boost在Windows和Linux下的编译安装
C++作为历史上最成功的语言之一，除了它具有面向对象的性质之外，还有一个非常重要的创新，那就是泛型编程。泛型的思想其实是为所有问题提供一个解决方案的模版，程序员只需把每次的具体问题放到模版里面，那么就可以获得该问题的解决方案，利用模版做到具体问题具体分析。C++ STL毫无疑问是泛型思想的一个成功案例。在STL中，我们看到各种封装好的数据结构和算法，而不需要程序员再重复制造轮子（何况自己造的轮子还不一定可靠）。与STL类似，Boost也是基于泛型思想实现的C++库，里面涉及了并发、网络通信、分
log4j异步日志的配置和测试
日志可以帮助我们分析故障原因，做些数据挖掘的工作。最简单的日志方法，就是自己写个写文件的方法，在需要打日志的时候调用下，但是这显然不可能在实际工程上用。还有个问题，就是频繁地打日志，会增加磁盘I/O，使得系统性能下降。这里用log4j这个库来部署一个含有日志管理的轻量级的系统，主要支持日志的异步写和等级分类的功能，完成最低限度的日志需求。 首先，我们建立一个Maven工程，并且在pom.xml文件里面引入log4j的依赖: <dependency> <groupId>org.slf4j</gr
词袋模型和词向量模型
在自然语言处理和文本分析的问题中，词袋（Bag of Words, BOW）和词向量（Word Embedding）是两种最常用的模型。更准确地说，词向量只能表征单个词，如果要表示文本，需要做一些额外的处理。下面就简单聊一下两种模型的应用。 所谓BOW，就是将文本/Query看作是一系列词的集合。由于词很多，所以咱们就用袋子把它们装起来，简称词袋。至于为什么用袋子而不用筐（basket）或者桶（bucket），这咱就不知道了。举个例子： 文本1：苏宁易购/是/国内/著名/的/B2C/电商/之一
Deeplearning4j 实战（2）：Deeplearning4j 手写体数字识别Spark实现
在前两天的博客中，我们用Deeplearning4j做了Mnist数据集的分类。算是第一个深度学习的应用。像Mnist数据集这样图片尺寸不大，而且是黑白的开源图片集在本地完成训练是可以的，毕竟我们用了Lenet这样相对简单的网络结构，而且本地的机器配置也有8G左右的内存。但实际生产中，图片的数量要多得多，尺寸也大得多，用的网络也会是AlexNet、GoogLenet这样更多层数的网络，所以往往我们需要用集群来解决计算资源的问题。由于Deeplearning4j本身基于Spark实现了神经网络的
Deeplearning4j 实战（3）：简介Nd4j中JavaCPP技术的应用
Deeplearning4j中张量的计算是由一个叫Nd4j的库来完成的。它类似于python中的numpy，对高维向量的计算有比较好的支持。并且，为了提高运算的性能，很多计算任务是通过调用C++来完成的。具体来说，底层C++运行张量计算可以选择的backend有：BLAS，OpenBLAS， Intel MKL等，上层Java逻辑是通过JavaCPP技术来调用这些库。JavaCPP是也是一个开源库（https://github.com/bytedeco/javacpp），和大部分其他JNI的技
Deeplearning4j 实战（4）：Deep AutoEncoder进行Mnist压缩的Spark实现
图像压缩，在图像的检索、图像传输等领域都有着广泛的应用。事实上，图像的压缩，我觉得也可以算是一种图像特征的提取方法。如果从这个角度来看的话，那么在理论上利用这些压缩后的数据去做图像的分类，图像的检索也是可以的。图像压缩的算法有很多种，这里面只说基于神经网络结构进行的图像压缩。但即使把范围限定在神经网络这个领域，其实还是有很多网络结构进行选择。比如： 1.传统的DNN，也就是加深全连接结构网络的隐层的数量，以还原原始图像为输出，以均方误差作为整个网络的优化方向。 2.DBN，基于RBM的网络栈，
Deeplearning4j 实战（5）：基于多层感知机的Mnist压缩以及在Spark实现
在上一篇博客中，我们用基于RBM的的Deep AutoEncoder对Mnist数据集进行压缩，应该说取得了不错的效果。这里，我们将神经网络这块替换成传统的全连接的前馈神经网络对Mnist数据集进行压缩，看看两者的效果有什么异同。整个代码依然是利用Deeplearning4j进行实现，并且为了方便以后的扩展，我们将其与Spark平台结合。下面，就具体来说一下模型的结构、训练过程以及最终的压缩效果。 首先，我们新建Maven工程并加入Deeplearning4j的相关依赖（这一块内容在之前的文章
Deeplearning4j 实战（6）：基于LSTM的文本情感识别及其Spark实现
在做机器学习的各种应用中，文本分类是比较典型的一种。比如，微博的分类，电商中商品评价的好坏分类，新闻的分类等等。同时，文本作为一种重要的特征，也在CTR预估，推荐等应用中起着作用。就文本分类这个应用而言，通常的做法是基于词袋模型和词向量模型来进行。基于词袋（Bag of Words）的模型的话，一般走一步TF-IDF再结合朴素贝叶斯就可以做个模型了，当然如果词很多，存在高维的问题，就用SVD/PCA做降维或者卡方特征抽取也行，然后再扔到某个分类器中。如果是基于词向量来做，那么一般就是用深度学习
DeepLearning4j实战(7)：手写体数字识别GPU实现与性能比较
在之前的博客中已经用单机、Spark分布式两种训练的方式对深度神经网络进行训练，但其实DeepLearning4j也是支持多GPU训练的。这篇文章我就总结下用GPU来对DNN/CNN进行训练和评估过程。并且我会给出CPU、GPU和多卡GPU之前的性能比较图表。不过，由于重点在于说明Mnist数据集在GPU上训练的过程，所以对于一些环境的部署，比如Java环境和CUDA的安装就不再详细说明了。 软件环境的部署主要在于两个方面，一个是JDK的安装，另外一个是CUDA。目前最新版本的DeepLear
Deeplearning4j 实战(8) : Keras为媒介导入Tensorflow/Theano等其他深度学习库的模型
在之前的几篇博客中，我直接通过Deeplearning4j进行建模、训练以及评估预测。但在实际使用中，各个团队未必都会将Deeplearning4j作为首选的开源库。这样一来，模型的复用就变得非常困难，无形中增加了重复劳动的成本。虽然我们可以自己开发一套不同库之间模型转换的工具，但是这需要对转换双方的库的实现都要非常清楚，包括正确的解析模型文件及参数，正确建模以及导入参数等等，显然这项工作出错的可能性极大，而且现在主流的几个深度学习库的接口依然在变化，无疑使得这项工作更加繁琐。 其实对于模型复
Deeplearning4j 实战 （9）：强化学习 -- Cartpole任务的训练和效果测试
在之前的博客中，我用Deeplearning4j构建深度神经网络来解决监督、无监督的机器学习问题。但除了这两类问题外，强化学习也是机器学习中一个重要的分支，并且Deeplearning4j的子项目--Rl4j提供了对部分强化学习算法的支持。这里，就以强化学习中的经典任务--Cartpole问题作为学习Rl4j的入门例子，讲解从环境搭建、模型训练再到最后的效果评估的结果。 Cartpole描述的问题可以认为是：在一辆小车上竖立一根杆子，然后给小车一个推或者拉的力，使得杆子尽量保持平衡不滑倒。更详
今日推荐
周排行