centos6.5下面安装mysql的整个流程。。。

转载一篇在centos6.5下面安装mysql的详细文档笔记: https://www.cnblogs.com/tianyalu/p/5045772.html 首选在centos6.5下面安装mysql 在这里我是通过yum来进行mysql数据库的安装的,通过这种方式进行安装,可以将跟mysql相关的一些服务、jar包都给我们安装好,所以省去了很多不必要的麻烦!!! 2.1.2 卸载原来的mysql的服务 [hadoop@mini07 ~]$ rpm -qa | grep mysql /查看当
分类: 其他 发布时间: 02-23 23:29 阅读次数: 0

成功实现了:Hive-2.3.2 on spark-2.0.0 编译安装配置-详细流程

首先说明一下hive on spark的版本信息: jdk-1.8.0 scala-2.11.8 apache-hive-2.3,2.tar.gz Hadoop-2.7.1 spark-2.0.0-src maven-3.6.0 注意需要配置maven源(最好配置国内源信息,这样下载会比较快) 下面的配置信息是在maven/conf/settings文件的160行的位置加入。 <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf>
分类: 其他 发布时间: 02-23 23:29 阅读次数: 0

Windows下面安装Nginx的流程。

1、下载nginx安装包: http://nginx.org/en/download.html 下载稳定版本,以nginx/Windows-1.12.2为例,直接下载 nginx-1.12.2.zip 下载后解压,解压后如下 2.启动nginx 有很多种方法启动nginx (1)直接双击nginx.exe,双击后一个黑色的弹窗一闪而过 (2)打开cmd命令窗口,切换到nginx解压目录下,输入命令 nginx.exe 或者 start nginx ,回车即可 3.检查nginx是否启动成功 直
分类: 其他 发布时间: 02-23 23:28 阅读次数: 0

HA---完全分布式Hadoop集群安装配置。。。

Hadoop2.0 HDFS高可用架构 集群实现思路 上图是一个典型的HA集群,NameNode会被配置在两台独立的机器上,在任何时间上,一个NameNode处于活动状态,而另一个NameNode处于备份状态,活动状态的NameNode会响应集群中所有的客户端,备份状态的NameNode只是作为一个副本,保证在必要的时候提供一个快速的转移。 为了让Standby Node与Active Node保持同步,这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当
分类: 其他 发布时间: 02-23 23:28 阅读次数: 0

图数据库NEO4J的cypher语句操作练习

1、创建一个节点 并给节点分配一个属性 create (n {name: "张三", age: 23}) 2、创建节点并且分配属性和标签 create (n:Person {name:"张三"}) 3、创建一个关系,给两个节点指定关系类型、方向和绑定一个变量 create ({name: "张三"})-[r:have]->({bookname: "设计模式"}) 4、创建两个节点,同时创建关系,给两个节点建立关系指定关系类型、方向和属性 create ({name:"李四"})-[:LOVES
分类: 其他 发布时间: 02-23 23:28 阅读次数: 0

HBase 的原理讲解与安装配置。

一、HBASE概述 1.1概述 基于hadoop的数据库工具 来源于google的一片论文BigTable 后来由Apache做了开源实现就是HBase 是一种 NoSQL 非关系型的数据库 不符合关系型数据库的范式 适合存储 半结构化 非结构化 的数据 适合存储 稀疏的数据 空的数据不占用空间 面向列(族)进行存储 提供实时增删改查的能力 是一种真正的数据库 可以存储海量数据 性能也很强大 可以实现上亿条记录的毫秒级别的查询 但是不能提供严格的事务控制 只能在行级别保证事务 是一个高可靠性
分类: 其他 发布时间: 02-23 23:28 阅读次数: 0

HBase的java API 开发案例

五、java api操作 导入开发包 将hbase安装包中lib下包导入java项目 创建表 Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","CentOS01:2181,CentOS02:2181,CentOS03:2181"); HBaseAdmin admin = new HBaseAdmin(conf); HTableDescriptor htd = new HTab
分类: 其他 发布时间: 02-23 23:27 阅读次数: 0

HBase的表的设计

六、HBase的表设计 HBase表的设计 会直接影响hbase使用的效率 和 使用的便利性 HBase表的设计 主要是 列族的设计 和 行键的设计 1.列族的设计 在设计hbase表时候,列族不宜过多,越少越好,官方推荐hbase表的列族不宜超过3个。 经常要在一起查询的数据最好放在一个列族中,尽量的减少跨列族的数据访问。 如果有多个列族 多个列族中的数据应该设计的比较均匀 2.行键的设计 hbase表中行键是唯一标识一个表中行的字段,所以行键设计的好不好将会直接影响未来对hbase的查询的
分类: 其他 发布时间: 02-23 23:27 阅读次数: 0

Linux 命令之---Sed --01

sed命令格式 • sed [option] “[action]” [filename] • option: • • h或—help • 显示帮助。 • n仅显示script处理后的结果。 • V或—version • 显示版本信息。 • e :允许对输入数据应用多条sed命令进行编辑。 • f :直接将 sed 的动作写在一个文件内, -f • filename • 则可以运行,filename 内的 sed 动作 sed的原理:sed是非交互式的文本处理工具。通常都会是在shell脚本里面
分类: 其他 发布时间: 02-23 23:27 阅读次数: 0

Linux命令之history

History 显示执行过的全部命名 history 10 表示的是显示之前执行过的10条命令 使用上下箭头也是可以查看命令的: !! 运行上一条命令 !88 运行第88条命令 !88 /test 运行第88条命令并在命令后面加上/test !ls 运行上一个ls命令 !ls:s/CF/l 运行上一个ls命令,其中把CF替换成l fc 编辑并运行上一个历史命令 fc 66 编辑并运行第66个历史命令 fc -e /usr/bin/vim 66 使用vim编辑第66个命令并运行 搜索历史命令!!
分类: 其他 发布时间: 02-23 23:26 阅读次数: 0

Linux命令之test

test 表示判断的命令: test -e demo.txt -e • 该文件是否存在? • !!! -f • 该文件是否存在且为文件(file)? • !!! -d • 该文件名是否存在且为目录(directory)? • !!! -b • 该文件是否存在且为一个 block • device • 装置? -c • 该文件是否存在且为一个 character device • 装置? • -S 该文件是否存在且为一个 Socket • 文件? • -p • 该文件是否存在且为一个 FIFO
分类: 其他 发布时间: 02-23 23:26 阅读次数: 0

Linux 之Shell scripts的参数说明

shell • script默认参数 比如,ls -al 其中-al就是shell脚本参数,那么我们自己写的脚本参数该如何使用呢 /path/to/scriptname arg1 arg2 arg3 arg4 $0 $1 $2 $3 $4 – $0:代表脚本程序本身 $1 表示的是第一个参数 $2 表示的第二个参数 $3 表示的是第三个参数.... 依次类推 $# 表示的是参数的个数 $@ 表示的是每一个参数都是一个独立的变量 用双引号括起来的 $* 表示 脚本名后面跟的所有的变量都是是做一个
分类: 其他 发布时间: 02-23 23:26 阅读次数: 0

Shell Scripts 脚本检查

shell • script脚本检查 sh [-nvx] scripts.sh 选项与参数: -n :不执行script,仅查询语法的问题; !! -v :在执行script前,先将scripts的内容输出到屏幕上; -x :将使用到的script内容显示到屏幕上,这是很有用的参数; !!! shell 里面条件控制语句 case结构条件句 case • $变量名称 in • “ 值1") 程序段1 ;; • “ 值2") 程序段2 ;; • *) • exit • 1 • ;; • esac
分类: 其他 发布时间: 02-23 23:25 阅读次数: 0

Kafka的复制机制。。。。

复制功能是kafka架构的核心,kafka自己描述的“一个分布式的、可分区的、可复制的日志提交服务”。复制保证了在集群的个别节点失效时仍然能保证kafka的可用性和持久。 kafka使用topic来组织数据的,每个topic包含若干个partition,每个partition的有多个副本,这些副本都是保持在broker上面的。 副本类型: leader副本:每个分区都有一个leader, 为了保证数据的一致性,所有的生产者请求和消费者请求都是经过leader来处理的。 follower副本:f
分类: 其他 发布时间: 02-23 23:25 阅读次数: 0

信息熵的介绍

首先是抛出信息的熵的计算公式: 其中p(xi)代表的是随机事件X取值为xi的概率值, 信息量是对信息的度量,和对时间的度量是s(秒)是一样的。当我们在考虑一个离散随机变量X的取值的时候,每一个取值都代表着我们接受到了多少对应的信息。所以信息大小跟随机变量的概率大小有关系的。随机变量的概率越小,则信息越大;概率越大则信息越小。比如太阳从东边升起来了(必然事件,则信息很小)。 所以说呀,一个具体事件的信息量是随着该事件的发生概率的大小而递减的。 下面来看看这个信息量的函数的表达式的产生的形式的说明
分类: 其他 发布时间: 02-23 23:25 阅读次数: 0

下面我们来定义条件熵

由上一篇介绍的信息熵,现在我们来引出条件熵的概念: 在给定X的条件下,Y的条件概率分布的熵对于X的数学期望。 现在设有随机变量(X,Y),其联合概率分布为: 条件熵H(Y|X)表示在随机变量X的条件下随机变量Y的不确定性。 下面给出条件熵的公式推导: 注意,这个条件熵,不是指在给定某个数(某个变量为某个值)的情况下,另一个变量的熵是多少,变量的不确定性是多少?而是期望! 因为条件熵中X也是一个变量,意思是在一个变量X的条件下(变量X的每个值都会取),另一个变量Y熵对X的期望。 这是最容易错的!
分类: 其他 发布时间: 02-23 23:25 阅读次数: 0

信息增益的介绍

在前面的两篇文章中我们介绍了信息熵和条件熵。 信息熵代表的是随机变量的复杂度(不确定度)。 条件熵代表的是在某一个条件下,随机变量的复杂度(不确定度)。 现在信息增益=信息熵-条件熵。 换句话说,信息增益代表了在一个条件下,信息复杂度减少的程度。 在决策树算法中的关键问题时特征的选择,当有多个特征的时候,我们选择哪个特征来进行分类呢?或者是按照什么标准来选择特征呢? 这个问题我们利用信息增益的概念来解决,如果选择某一个特征,其信息增益最大(信息复杂度减少的程度最大),那么我么就选择这个特征开进
分类: 其他 发布时间: 02-23 23:24 阅读次数: 0

Spring框架(四)

版权声明:@Wrial https://blog.csdn.net/qq_42605968/article/details/86694900 在前几次主要写了一些Ioc的配置和实现,这次就到了AOP(面向切面编程),说到AOP还得提一提OOP(面向对象编程) OOP:核心思想是将客观存在的不同事物抽象成相互独立的类,然后把与事物相关的属性和行为封装到类里,并通过继承和多态来定义类彼此间的关系,最后通过操作类的实例来完成实际业务逻辑的功能需求。**OOP通过继承和多态会使程序之间的耦合度增高,不
分类: 其他 发布时间: 02-23 23:24 阅读次数: 0

Spring框架(五)

版权声明:@Wrial https://blog.csdn.net/qq_42605968/article/details/86708179 上一篇是对AOP的入门,这一篇就进一步细化。 Spring中的通知 1.前置通知:在执行目标方法前(权限校验) 可以显示连接点信息 public class MyAspect { public void Inform(JoinPoint joinPoint){ System.out.println("before infrorma
分类: 其他 发布时间: 02-23 23:24 阅读次数: 0

Spring框架(六)

版权声明:@Wrial https://blog.csdn.net/qq_42605968/article/details/86710055 上一篇主要讲的是xml配置AOP,这一篇就来说说注解配置 ,注解配置相对于xml配置稍微能简单一些,而且也可以增强开发速度. 通知(配置在切面里的方法上) 在注解配置通知前提还要再xml里打开注解模式,配置如下: <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springf
分类: 其他 发布时间: 02-23 23:23 阅读次数: 0