ssh自动登录，脚本实现
send：用于向进程发送字符串
expect：从进程接收字符串
spawn：启动新的进程
interact：允许用户交互 http://www.cnblogs.com/lzrabbit/p/4298794.html
作为IT，你的价值在哪里？
也许最近是真的被无穷无尽的数据整理、导入、再整理、再导入给恶心到了。 业务部提交的数据只是一个非常初始的数据，IT还得在这个基础上七整八整，对导出的结果还要再做二次导入三次导入，不仅要帮业务部批导生成销售订单，连着交货、交货过账都得一并处理。十多万笔的数据要在年底之前全部导入系统中，做到分毫不差，而且完成之后还要校验数据的正确性。 看着SAP系统在忙碌得转着转着，拼命导入数据。等待之余，我在想，作为IT，你的价值在哪里？为什么会陷入数据整理的茫茫大海中没有方向？ 想起几年前在KB公司供职的情形
《git基本操作指南》
一： 1：新建文件夹，进入文件夹下； 2：git init （把该目录变成git可以管理的仓库） 3：git add text.txt （添加到暂存区里面去） 4：git commit -m "text.txt提交" （把文件提交到仓库） 5：git status （查看是否还有文件未提交） 6：如修改了 text.txt ，再 git status 提示有修改的文件，是未提交状态 7：git diff text.txt （查看修改的具体内容） 8：git log 或 git log --pr
突然的感触，关乎技术上的
就刚才看Bootstrap源码，发现每一个组成部分末端的</div>标签后都带有注释以此从尾部众多的div结尾标签中快速找到与头部div相匹配的部分，突然想到了之前构建项目中自己也遇到过在一众代码中找到自己的尾部div的麻烦，但当时图省事只是大概的用换行区分一下每一个部分。 现在看来自己还是缺乏再深思一下的动力，回头来看一些构建中出现的小问题完全可以停下来想一想如何解决，而不是看问题小就不作解决或者敷衍了事，保持学习优良的构建代码的习惯，对自己对团队都是好事，学习了，源代码不仅仅只是透出了作者
Flum、Yum、Telnet、光盘挂载装yum(FLUME日志采集)
Flum、Yum、Telnet、光盘挂载装yum 附加： Flum的使用 数据处理流程 数据源-----存储-----计算------结果展示 数据倒入场景：（数据采集webServer---DataServer过程） 一次性倒入 数据更新频次低（一天、一周） 实时性导入（毫秒级别） 关于验证码的使用，有第三方接口 比如用户点击获取验证码、第三方接口同时向运营商以及用户各发一次验证码，用户输入验证码再与运营商的相互对比 Flum可以监听接口，文件，http等 Flum配置文件运行的参数解析：
Kafka+采集用户信息行为+flume整合（鼠标停留时间）
Kafka+采集用户信息行为+flume（鼠标停留时间） 一、Kafka概述 与消息系统类似，是消息中间件的一种。能够订阅和发布流式数据，能够以容错的方式存储流式数据，当数据产生时就能够处理 生产者:数据产生者 消费者:数据使用者 中间件:进行数据缓冲 采集用户信息行为： 用户信息采集：页面上两个按钮、三个模块，当点击按钮的时候会显示点击那个按钮的日志，当鼠标滑过的时候显示鼠标在某个区域停留的时间 Log4j的代码如下： # 全局配置 -> DEBUG(调试) -> INFO(信息) ->ER
mapReduce共同好友案例(hadoop)
4.mapReduce共同好友案例 思路： A: B,C B:A,D C:A,D D:B,C 第一步 B A -----B是A的朋友 C A A B D B A C D C B D C D A: B,C ----A是BC的朋友 B:A,D C:A,D D:B,C 第二步 B:C A ----BC的共同好友A A:D B A:D C B:C D B:C A,D A:d B,C 第一步： import java.io.IOException; import org.apache.hadoop.co
Hadoop选举以及副本策略
17.Hadoop选举以及副本策略 默认是采用投票数大于半数则胜出的逻辑。 选举流程简述 目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选择举过程如下： 服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking。 服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
Hive数据分析实战演练
Hive数据分析实战演练 文章来源：企鹅号 - 程序猿的修身养性 1、准备工作 Hive的底层是基于MapReduce分布式计算和HDFS分布式存储，因此，在使用Hive进行数据操作前，需要先启动Hadoop。如果事先已经搭建好了伪分布式环境的Hadoop，运行命令： start-all.sh，等待Hadoop启动完成即可。 使用Hive进行数据分析操作，必然需要安装和配置Hive数据仓库工具，这里就不介绍其安装和配置了，具体内容可以参考前面相关文章。本文基于Hive的本地模式（元数据信息保存
SparkStreaming概述
一、SparkStreaming概述 Spark内置对象： sparkconf: SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。 SparkContext: **SparkContext为Spark的主要入口点 ,SparkContext用于连接Spark集群、创建RDD、累加器（accumlator）、广播变量（broadcast variables），所以说SparkContext为Spark程序的根本都不为过** S
关于本人hbase整合sqoop和hive框架的遇到的那些坑
关于本人hbase整合sqoop和hive框架的遇到的那些坑 hbase: hbase-1.3.1-bin.tar.gz hive:apache-hive-1.2.2-bin.tar.gz 要实现的功能：实现创建hive表同时关联到hbase在logs日志查看出现异常信息 执行语句： CREATE TABLE hive_hbase_emp_table( key int, ename string, job string, mgr int, hiredate string, sal double
关于hbase-site.xml中配置文件进行改动，删除某个属性后出现的错误hbase启动不了
操作分三步： 1.进入zkCli.sh------ls /-------rmr hbase 2.删除hbase.tmp.dir属性对应的的路径中的文件 3.删除hdfs上对应的hbase所有元数据 4.重新启动集群 解决问题
使用二分查找法,查找ip所在的范围对应的code(语言为java\scala\python) java语言来实现
使用二分法实现查找ip所在的范围，并返回对应的id start_ip end_ip code 0.0.0.0 1.0.0.255 1000000000 1.0.1.0 1.0.3.255 1156350100 1.0.4.0 1.0.7.255 1036000000 1.0.8.0 1.0.15.255 1156440100 java程序实现 行数据实体类
package IpRange;
public class MyIp {
private long startIP;
hadoop——hive视频观看热度，Top N案例（youtube）
数据准备 user.txt 0.txt 字段以及字段名解析 user表 字段 备注 字段类型 uploader 上传者用户名 string videos 上传视频数 int friends 朋友数量 int 视频表： 字段 备注 详细描述 video id 视频唯一 id 11 位字符串 uploader 视频上传者 上传视频的用户名 String age 视频年龄 视频上传日期和 2007 年 2 月 15 日之间的整数天（Youtube的独特设定） category 视频类别 上传视频指定
电信客服分析实现思路
电信项目： 一、idea项目构建 1、安装jdk并配置环境变量 2、安装maven，解压离线仓库，并设置settings conf目录下的setttings.xml文件复制到离线仓库的m2目录下，并修改mirror标签以及离线仓库路径。 设置idea工具的maven选项，涉及到4个地方：work offline,以及3个maven设置吧。注意留意：override选项。 3、新建ct主项目目录(相当于eclipse的workset) 一个项目对应一个文件夹，举例： workspace： ct：
微博粉丝互粉列表统计
微博粉丝互粉统计 mapper阶段 import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class microMapper extends Mapper<Object, Text, Text, NullWritable>{ Text text
group by 与partition by 的效果展示，希望对大家有帮助
student.uid student.xi student.fuid 1 1 1 1 1 3 2 1 10 2 2 11 1 1 4 1 2 5 1 2 6 2 1 7 2 1 8 2 1 9 1 1 2 2 2 12 2 2 13 1.group by先以uid分组再以xi分组(group by 的所有非聚合字段都放在group byzhong 而且partition不必这样) select uid, xi, count(fuid) from student group by uid,xi
azkabin的安装与调试
Git上下载源码： 地址：https://github.com/azkaban/azkaban 解压源码到/home： unzip /home/azkaban-master.zip -d /home/ 编译源码： 安装： 在安装咯hadoop、hive、sqoop等的机子上安装，好测试是否okay。先安装azkban web server： 解压azkaban-web-server-2.5.0.tar.gz 到azkaban目录中，并重新命名为webserver： [root@hadoop01
STM32学习1：创建工程模板
STM32学习1：创建工程模板 2，Keil新建工程 3，Keil工程配置 4，收尾 STM32是基于ARM内核（cortex-m3系列属于armv7架构）的32位MCU，特点是高性能、低成本、低功耗，总之就是性价比很高，可以满足很多简单嵌入式设备的需求。由于市面上STM32的资料很多，学习起来会比较方便，所以很多人会选择STM32入门嵌入式开发。 鄙人也是在淘宝购置了一套普中STM32开发板，跟着随带的光盘学习起来的。碰到不懂的就在CSDN上浏览学习高手的博客，大神们不仅技术很好还乐
TensorFlow-四则运算
importtensorflowastfa=tf.constant([[1,2],[3,4]])b=tf.constant([6,6])result=tf.add(a,b)sess=tf.Session()sess.run(result)array([[7,8],[9,10]],dtype=int32)c=tf.constant([[1,2,3],[4,5,6]])result3=a*bsess.
今日推荐
周排行