HadoopMapReduce运行机制
1.map方法读取一个文件的一行记录进行分析, 输入:LongWritable(当前读取的文件位置), Text(内容) 2.map将读取到的信息进行分类,输入Context (键值对) ;作为Reduce 的输入数据 3.当所有的map运行完后,mapreduce 框架 会通过一个Patitioner 类进行reduce输入数据的分发. 默认的分发规则为:通过比较两个key的hashCode值与reduce个数取摩, /** Use {@link Object#hashCode()} to
TiDB 部署及数据同步
简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库， 结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。 TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analy
Android Handler消息机制源码解析
好记性不如烂笔头，今天来分析一下Handler的源码实现 Handler机制是Android系统的基础，是多线程之间切换的基础。下面我们分析一下Handler的源码实现。 Handler消息机制有4个类合作完成，分别是Handler,MessageQueue,Looper,Message Handler : 获取消息，发送消息，以及处理消息的类 MessageQueue:消息队列，先进先出 Looper : 消息的循环和分发 Message : 消息实体类，分发消息和处理消息的就是这个类 主要
ubuntu16.04编程软件之编辑器
vim大法好 参考 GitHub - jez/vim-as-an-ide: Workshop on how to use Vim Plugins. vscode vscode是最好的编辑器，不解释。 vscode安装 下载deb包 Visual Studio Code - Code Editing. Redefined 安装 sudo dpkg -i vscodeXXX.deb 在终端中使用vscode打开文件夹、文件 cd your project dir
code file_name vs
day5-WordCount
1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段： 将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v 注意点：mapreduce程序中， map阶段的进、出数据， reduce阶段的进、出数据， 类型都应该是实现了HADOOP序列化框架的类型，如： String对应Text Integer对应IntWritable Long对应LongWritable 1.2. 编码实现 Wordc
ubuntu16.04编程软件之工具类
zsh 安装zsh + zsh 兼容bash + zsh 官网：Zsh + 查看CentOS已安装的shell cat /etc/shells 正常结果应该是这样的： /bin/sh
/bin/bash
/sbin/nologin
/bin/dash
/bin/tcsh
/bin/csh + 查看当前的shell echo $SHELL 更新软件源 sudo apt-get install update 安装zsh sudo apt-get install zsh 安装oh-my-zsh 保证
stm32 NandFlash
环境：stm32f429 原子哥的板子 keil5 NandFlash : MT29F4G08 研究目的：驱动NandFlash，加上FTL，最后给FATFS使用 研究思路： （1）什么是NandFlash？有什么特性？ （2）为什么要加上FTL？ （3）怎么写NandFlash 驱动
ubuntu16.04编程软件之文档类
安装boostnote 比较好用的本地做笔记工具 下载deb包 Boostnote | Boost Happiness, Productivity, and Creativity. 安装 ``` sudo dpkg -i boostnoteXX.deb 备注：但是搜索功能功能不好用，已放弃
centos安装zookeeper,并集群配置
所有机器操作都一样！ 注：zookeeper配置集群时 需把防火墙关掉 或者暴露配置文件里配置的端口， 并且在dataDir目录下要有myid文件 1 下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 2 解压 tar -zxvf zookeeper-3.4.10.tar.gz 3 修改配置文件 复制配置文件 zoo_sample.cfg
笔记-cookie参数
笔记-cookie参数 cookie各个参数详解 定义和用法 setcookie()函数向客户端发送一个 HTTP cookie。 cookie是由服务器发送到浏览器的变量。cookie 通常是服务器嵌入到用户计算机中的小文本文件。每当计算机通过浏览器请求一个页面，就会发送这个cookie。 cookie的名称指定为相同名称的变量。例如，如果被发送的 cookie 名为 "name"，会自动创建名为 $user 的变量，包含cookie 的值。 必须在任何其他输出发送前对cookie 进行赋值
Ant Design中的Form组件
1. 使用Form.create()包裹过的组件可以获取到this.props.form属性 Form.create()(Comp) 2. getFieldDecorator() 1 // 在表单中的使用
2 <FormItem>
3 {
4 getFieldDecorator('field', {
5 rules: [{}],
6 // ...
7 })(
8 // 相关form组件
9 )
10
ubuntu16.04安装matlab2018
matlab2018a 安装matlab 挂载dvd1 打开终端，输入如下命令安装： sudo /media/david/MATHWORKS_R2018A/install 安装密匙：09806-07443-53955-64350-21751-41297。 挂载dvd2 点击“确定”按钮，继续安装。 导入破解文件 sudo cp -f ~/tools/Matlab2018a/Matlab2018aLinux64Crack/R2018a/bin/glnxa64/matlab_startup_plu
[外包]!采用asp.net core 快速构建小型创业公司后台管理系统(四.quartz 简单配置使用)
上一章介绍了log4net的简单配置，这一章介绍一下quartz的简单使用，下一章介绍一下我得权限使用，然后就结束 本章主要介绍： quartz在asp.net core中的使用 这个项目虽小，但是及其容易扩展，后面的业务直接能丢进来，使其更加丰富 废话不说开始介绍 一.基础类配置 在domain里定义IJobCenter接口 代码如下： public interface IJobCenter
{
/// <summary>
/
POJ-3130 How I Mathematician Wonder What You Are!
半平面交第一题 ！ 题意是给出一个多边形，问他是否存在内核，即“可以看到任何一个地方的区域”。 内核即半平面交，下面是离线求半平面交的\(nlogn\)算法 #include<cmath>
#include<queue>
#include<cstdio>
#include<cstring>
#include<algorithm>
using namespace std;
const int maxn=100;
struct Point{
double x,y;
Point(do
笔记-scrapy-cookie
笔记-scrapy-cookie传递 1. scrapy cookie传递 1.1. 开始 与cookie相关的设置参数有两个： COOKIES_ENABLED 决定是否使用cookies middleware； COOKIES_DEBUG 决定是否详细记录cookie设置情况。 2. 原理及实现 scrapy的cookie功能在downloadmiddlewares/cookies中实现 核心代码是 def __init__(self, debug=False): self.jars = d
领扣（LeetCode）错误的集合 个人题解
集合 S 包含从1到 n 的整数。不幸的是，因为数据错误，导致集合里面某一个元素复制了成了集合里面的另外一个元素的值，导致集合丢失了一个整数并且有一个元素重复。 给定一个数组 nums 代表了集合 S 发生错误后的结果。你的任务是首先寻找到重复出现的整数，再找到丢失的整数，将它们以数组的形式返回。 示例 1: 输入: nums = [1,2,2,4]
输出: [2,3]
注意: 给定数组的长度范围是 [2, 10000]。 给定的数组是无序的。 拿到这题，正常的思路，拿一个hashmap记录
Rabbitmq 安装&启动
安装socat [root@Aliyun software]# yum -y install socat 安装rabbit的rpm包 [root@Aliyun resource]# rpm -ivh rabbitmq-server-3.7.7-1.el6.noarch.rpm rabbitmq安装成功了，但是如果需要对外访问使用，开启远程登录用户的权限，默认只允 localhost web管理应用访问端口是 15672 程序（生产者，消费者客户端程序）访问端口5672 配置远程连接权限，配置用
[国家集训队]聪聪可可
题意 Here 思考 最近学习一下点分治 本题点分治裸题，也可以用树形 \(dp\) 做，在此记录一下点分治的做法： 首先题目要求求出边权和为 \(3\) 的倍数的路径个数和，那么我们可以将路径和对 \(3\) 取模，树上路径就只分为了三种： \(0,\ 1,\ 2\)，用一个桶记录个数，那么每次点分治计算的答案就是 \(sum[0] * sum[0] + sum[1] * sum[2]\)，（两条路径为\(0\)的链和一条路径为\(1\)的链\(+\)一条路径为\(2\)的链，由于后者的起点
今日推荐
周排行