hadoop 之 hdfs的读写流程
关于大数据学习的最好的网站就是官网http://www.apache.org/参考资料：http://www.apache.org/免责声明：很多资料都是网上一步步搜集到的，感谢各位前辈默默无闻的奉献与付出，资料过多，不一一感谢，如果侵权，请及时联系作者本人或者投诉至平台，我会第一时间删除，纯分享。HDFS的写入流程：先看图片 摘抄至这个哥们的博客https://blog.c...
Centos 7.x 搭建 nginx-1.1.19
1、安装依赖环境yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel解释为什么需要安装这些库，是因为需要进行编译nginx的源码，在编译源码的时候，会用到这些库，特别是gcc 、openssl 这些库2、下载Nginx安装包http://nginx.org/download/我下...
Centos 7.x 搭建 tomcat
1、首先下载安装包https://tomcat.apache.org/download-80.cgi点击下载完成后，2、将安装包上传至服务器安装目录，创建一个tomcat 目录mkdir -p /home/tomcat3、解压tomcat 安装包tar -xzvf apache-tomcat-7.0.99.tar.gz4、解压完成后，进入到tomcat解压...
Centos 7.x 搭建 nginx 反向代理--单服务器
nginx的搭建已经在前面一篇文章写过，具体详见Centos 7.x 搭建 nginx-1.1.19Centos 7.x 搭建tomcat1、首先需要将tomcat 搭建好，请参考文章Centos 7.x 搭建tomcat2、进入到nginx的安装目录，修改nginx的配置文件，注意一点: 此时的安装目录是/usr/local/nginx，并不是我们当时执行make 的解压路径，...
Centos 7.x 搭建 nginx 反向代理配置两个不同服务器
前言： 在配置完一个服务器后，我们将来配置2个服务器，环境如下:启动两个tomcat 服务，修改端口号，分别为8080,8081访问不同的路径写的html界面，会跳到不同的服务器界面进行访问，即:访问 www.shijinhua.com:9001/edu/a.html 时，nginx 会自动去8080端口的tomcat 界面访问 www.shijinhua.co...
Java 字节流的读写操作
直接贴代码1、读文件已经存在的内容 FileInputStream fileinputstream = new FileInputStream("E:\\2.txt"); 1.1 //读取一次字节 一个字节的读取 int len = fileinputstream.read(); //读取出来的字节以ASCII表里面的数字表示（0-1...
Sqlite3 之Linux 环境搭建1
最近在弄Sqlite3 中文字符的事情，写下这一系列的博客，记录一下首先: 我的环境是 redhat6.5 sqlite 3.6.20之前已经拿到了sqlite的动态库文件:libsqlite3.solibsqlite3.so.0libsqlite3.so.0.8.6和sqlite3.h 头文件#include <stdio.h>#include &...
idea 设置maven 配置 本地仓库和阿里云服务
1、file-Setting2、Build -BuildTools-Maven3、找到本机的maven的setting文件<localRepository>E:\maven-LocalWarehouse\apache-maven-3.3.9-LocalWarehouse（本地的仓库路径）</localRepository>在mirrors的下添加...
解决问题：List集合add元素，添加多个对象出现重复的问题
首先看下面一段代码: ArrayList<Person> people = new ArrayList<>(); Class.forName("com.mysql.jdbc.Driver"); Connection connection = null; Statement statement1 ...
HDFS api上传文件和hdfs命令上传副本数为什么不一致？
我使用linux 的命令直接上传文件，显示的副本数是1 ，我的配置文件里面配置的默认副本数也是1如图这跟我配置里面的是一样的，但是我使用HDFS的API上传文件的时候，老是会报错Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ro...
Java 单链表的实现
啥也不多少，原理都一样，只是实现的方式不一样而已，原理介绍请自行百度百科百科百科-单链表分析:数据的内容我们这边将存储整型 定义一个int 型的data对于Java 下一个节点的引用类型就是该节点自己，即可将类定义如下:public class Node{ Node next = null; int data}public cl...
linux 之 socket 套接字 SO_REUSEADDR 参数详解
一般而言，在启动socket 连接前，需要绑定本机的ip 和端口（port），对于ip ，一般都是本机地址，而对于端口，在linux 操作系统中，是有很多个的（不允许重复使用），但是有时候，我们的网络服务需要支持热启动（即服务器A服务端口宕机，需要立即启动备用程序），但是对于普通的网络程序，如果在bind 之前不设置SO_REUSEADDR参数，该端口需要在2分钟后才能被使用，这样使得...
N台服务器配置免密登录（包含SCP脚本）
工作的时候，由于我们的服务器太多，不可能一个个使用远程登录服务器，比如用XShell开多个窗口，如果有100台机器，难道还要开100个会话吗？？显而易见，我们不可能操作的这么麻烦，能用技术解决问题，绝对不使用体力，linux 多台服务器之间的免密登录就可以解决这个糟心的问题（如果你想输入密码登录，随你喽，密码敲不死你，100个不一样的密码，登录一次，你就敲一次密码）实现原理:RSA非对称密钥----签名验签技术，每台服务器机器的生成一组唯一不变的RSA密钥对，分别将各自的公钥发送服务器指定位置，采用SS
Hadoop 使用SHELL命令行查看副本数和块大小
Hadoop 使用SHELL命令行查看副本数和块大小输入命令hadoop fs前提是hadoop 已经配置在环境变量的配置文件中查看选项，发现有一个stat 命令选项 format包含以下%b：打印文件大小（目录为0）%n：打印文件名%o：打印block size （我们要的值）%r：打印备份数%y：打印UTC日期 yyyy-MM-dd HH:mm:ss%Y：打印自1970年1月1日以来的UTC微秒数%F：目录打印directory, 文件打印regular file如果你想知道
hadoop ----SecondyNameNode 触发合并（CheckPoint）fsimage和Edits的2种条件
触发 CheckPoint（合并）的2种条件是：1、当Edits的日志条数达到一定的数量的时候（100w条）2、当到了一定的时间(3600s)，但是Edits的日志条数还未达到指定的数量-----------------------------------------------------------------------------------------------------------其中这2个值都是可以进行修改的，hdfs-core.xml时间dfs.namen..
hadoop ----nameNode故障宕机，如何挽救
nameNode故障宕机，如何挽救一些数据？？恢复后的数据与之前的数据有哪些差别？？？答：将secondyNameNode节点中的数据拷贝至namanode节点上，这样就可以恢复在上一个edits和fsimage的内容了，实例操作：一般情况下，namenode 和secondynamenode是不会同时运行在同一台物理机的，都是分开在2台服务器上，这样就可以避免2中故障的发生1、当一台机器的磁盘是物理损坏的时候，可以使用secondynamenode这台机器上的保存数据，恢复部分数据..
DECLARE_ASN1_FUNCTIONS宏函数的解析
typedef struct {ASN1_INTEGER *version; /*协议版本 */ASN1_INTEGER *reqType; /*请求类型*/SVSREQUSET *request; /*请求包*/ASN1_GENERALIZEDTIME *reqTime; /*请求时间*/} GM_0029_SVSREQUEST;DECLARE_ASN1_FUNCTIONS(GM_0029_SVSREQUEST);查询openssl 在ASN1.H 头文件中有以下定义...
利用OpenSSL将pem格式证书转化为cer格式证书
openssl x509 -inform pem -in 输入的文件【pem格式】 -outform der -out 输出的文件【cer格式】例如openssl x509 -inform pem -in sm2.444.sig.crt.pem -outform der -out sm2.444.sig.crt.cer
shell for循环的N种写法
1、整数for循环for((i=0;i<10;i++))do echo $idonefor i in {1..10}do echo $idone2.字符的遍历for host in hadoop01 hadoop02 hadoop03do echo $hostdone3、遍历字符数组hostname=(hadoop102 hadoop103 hadoop104)for host in ${hostname[@]}do...
今日推荐
周排行