mapreduce之数据倾斜

如上图,InputFormat决定文件的输入格式,切片的计算是由输入格式来进行计算的,我们默认使用的输入格式是文本输入格式TextInputFormat,而TextInputForm是继承自FileInputFormat这个抽象类,在FileInputFormat这个类中,有一个getsplites()方法,代码如下: public InputSplit[] getSplits(JobConf job, int numSplits) throws IOException { StopW
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

1、 Shiro框架:认证,授权(验权 2. Shiro框架实现权限控制方式:

1、 Shiro框架:认证,授权(验权) a) 认证逻辑:applicationCode—>通过工具类获取subject对象,调用login方法参数令牌信息->安全管理器------>调用realm中认证方法(1、根据用户名查询真实密码,2、框架比对密码) Shiro框架实现权限控制方式: 1、 在spring配置文件中配置过滤器链-设置项目中url拦截规则:url拦截-过滤器(anon,authc,perms,roles) 2、 注解方式:在service方法上使用shiro提供注解-代理技
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

how find out what is causing Visual Studio to think each project is out of date

You can find out what is causing Visual Studio to think each project is out of date, and then address the issue directly. Select Tools → Options → Projects and Solutions → Build and Run. For the setting "MSBuild project build output verbosity:" sele
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

HDFS重要特性

首先,它是一个文件系统,用于存储文件,通过统一的命名空间目录树来定位文件; 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。 1. master/slave 架构   HDFS 采用 master/slave 架构。一般一个 HDFS 集群是有一个 Namenode 和一定数目的 Datanode 组成。Namenode 是 HDFS 集群主节点,Datanode 是 HDFS 集群从节点,两种角色各司其职,共同协调完成分布式的文件存储服务。 2. 分块存储  
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

[SPOJ 705]New Distinct Substrings

Description 题库链接 给定一个长度为 \(n\) 的字符串,求不相同的子串的个数。 \(1\leq n\leq 50000\) Solution 每个子串一定是某个后缀的前缀,那么原问题等价于求所有后缀之间的不相同的前缀的个数。如果所有的后缀按照 \(sa\) 的顺序计算,不难发现,对于每一次新加进来的后缀 \(suffix(sa_k)\) ,它将产生 \(n-sa_k+1\) 个新的前缀。但是其中有 \(height_k\) 个是和前面的字符串的前缀是相同的。所以 \(suffi
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

fminunc

options = optimset('GradObj', 'on', 'MaxIter', 400); % Run fminunc to obtain the optimal theta % This function will return theta and the cost [theta, cost] = ... fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

MySQL基础 MySQL基础(非常全)

MySQL基础(非常全) MySQL基础 一、MySQL概述 1、什么是数据库 ?  答:数据的仓库,如:在ATM的示例中我们创建了一个 db 目录,称其为数据库 2、什么是 MySQL、Oracle、SQLite、Access、MS SQL Server等 ?  答:他们均是一个软件,都有两个主要的功能: a. 将数据保存到文件或内存 b. 接收特定的命令,然后对文件进行相应的操作 3、什么是SQL ?  答:MySQL等软件可以接受命令,并做出相应的操作,由于命令中可以包含删除文件、获取文
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

算法学习笔记-暴力搜索和分治法

1.今天学习了一个简单的求最大连续子数组的问题,给定一个数组A[0,…,n-1],求A的连续子数 组,使得该子数组的和最大。例如:数组: 1, -2, 3, 10, -4, 7, 2, -5 Python暴力求解法: dest_arry = [1,-2,3,10,-4,7,-2,5,12] max_val = dest_arry[0] cuur_val = 0 start = 0 end = 0 print (len(dest_arry)) count = len(
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

Linux wget命令详解

wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。 wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成 wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

1025: [SCOI2009]游戏

Time Limit: 1 Sec Memory Limit: 162 MB Submit: 2727 Solved: 1794 [Submit][Status][Discuss] Description   windy学会了一种游戏。对于1到N这N个数字,都有唯一且不同的1到N的数字与之对应。最开始windy把数字按 顺序1,2,3,……,N写一排在纸上。然后再在这一排下面写上它们对应的数字。然后又在新的一排下面写上它们 对应的数字。如此反复,直到序列再次变为1,2,3,……,N。 如: 1
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

数据

Date:2018-7-1
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

【红色警报】XXE 高危漏洞将大面积影响微信支付安全,可能导致系统沦陷,请升级你的系统!

今天,微信支付发布了一则紧急通知: 尊敬的微信支付商户: 您的系统在接受微信支付XML格式的商户回调通知(支付成功通知、退款成功通知、委托代扣签约/解约/扣款通知、车主解约通知)时,如未正确地进行安全设置或编码,将会引入有较大安全隐患的XML外部实体注入漏洞(XML External Entity Injection,简称 XXE)。 请贵司研发人员务必参考微信支付安全实践指引:https://pay.weixin.qq.com/wiki/doc/api/jsapi.php?chapter=2
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

移动设备的分辨率

以上是一张移动设备各自尺寸与分辨率的表格 现在来解释一下各列的意思: 屏幕尺寸:对角线的长度,单位 ‘英寸’ 分辨率(pt): point,一个长度单位。(个人理解:看到屏幕的尺寸大小,pt 跟屏幕大小有关) 分辨率(px) : pixel 像素,1px 表示一个像素点。 一个 pt 单位里包含多个 px (跟屏幕的大小没有任何关系,我们看到的图片就是由很多的像素点组成的。) Reader: 1pt 下 多少个 px , 可以看到上图 iPhone6 1个pt 有 2个px PPI(DPI)
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

入门设计模式之备忘录模式

学习更多设计模式请参考:入门设计模式之汇总篇 备忘录模式:在不破坏封装的条件下,将一个对象的状态捕捉住,并在外部化存储起来,从而可以在将来合适的时候把这个对象还原到存储时的状态。 通常的备忘录模式包含3个角色: 发起人角色:这个角色就是需要被保存状态的角色 备忘录角色:负责保存发起人角色的状态的对象 负责人角色:负责保存备忘录对象,且它不能看到备忘录的内容 我们通过一个简单的例子来描述一下这几个角色: 我们知道现在有很多小姐姐喜欢自拍,而已有的是很火辣的那种不能为外人道哉的。这些小姐姐通常把这
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

pyjsonrpc模块使用

  pyjsonrpc模块的远程过程调用方法。 # -*- coding:utf-8 -*- #!/usr/bin/env python2.7 # @Author : tianbao # @Contact : [email protected] # @Time : 2018/7/4 21:49 # @File : aactest.py # @Software: PyCharm import pyjsonrpc http_client = pyjsonr
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

闭包的作用与可能引起的内存泄漏

1.作用域链   理解闭包之前需要明白一个概念:__作用域链__。当代码在一个环境中执行时,会创建变量对象的一个作用域链。作用域链的用途,是保证对执行环境有权访问的所有变量和函数的有序访问。作用域的前端,始终都是当前执行的代码所在环境的变量对象。如果这个环境是函数,则将其活动对象作为__变量对象__。这个变量对象来自于下一个包含环境,下一个变量对象又来自于下一个包含环境,知道全局执行环境。全局执行环境的变量对象始终都是作用域链的最后一个对象。 var name = 'Titan'; funct
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

java异常Exception

学习笔记: 一.程序的异常:Throwable 严重问题:Error ,我们不处理。这种问题一般很严重,不如内存溢出 问题:Exception 编译问题:不是RuntimeException异常。必须进行处理,如果不处理编译不能通过 运行问题:RuntimeException,这种问题也不处理。是因为代码不够严谨。需要修改代码 二.如果程序出现了问题,我们没有处理,最终Jvm会做默认处理。把异常信息打印到控制台。同时会结束程序。这对程序非常不友好, 我们希望一块代码出现问题时,
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

Android系统介绍与框架

一、Andriod是什么? Android系统是Google开发的一款开源移动OS,Android中文名被国内用户俗称“安卓”。Android操作系统基于Linux内核设计,使用了Google公司自己开发的Dalvik Java虚拟机。Android操作系统已经成为全球最大的智能手机操作系统。 1)、开放性 Android完全开源,且该平台从底层操作系统到上层的用户界面和应用程序都不存在
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

Android代码设置Shape,corners,Gradient

int strokeWidth = 5; // 3dp 边框宽度 int roundRadius = 15; // 8dp 圆角半径 int strokeColor = Color.parseColor("#2E3135");//边框颜色 int fillColor = Color.parseColor("#DFDFE0");//内部填充颜色 GradientDr
分类: 其他 发布时间: 07-04 22:45 阅读次数: 0

Android Studio 2.0 Instant Run问题解决方法

Android Studio 2.0 Instant Run问题 不支持API Level 21(Android 5.0)以下机型 错误日志: AndroidRuntime: FATAL EXCEPTION: main                                                                       Process:
分类: 其他 发布时间: 07-04 22:44 阅读次数: 0