linux下查找某个文件或者根据端口查找进程位置
从根目录根据文件名查找 引用处： linux下查找某个文件位置的方法 从根目录开始查找所有扩展名为.log的文本文件 find / -type f -name "*.log"
结果如下: /usr/local/yaoyu/qq.log
/usr/local/yaoyu/qq2.log
/usr/local/yaoyu/qq3.log
...
根据端口port查找其对应运行的文件的位置 引用处： linux查看端口port所运行的文件的位置 一，使用netstat来查看端口9002的pid为
Hadoop | javaAPI
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/85857348 Hadoop 中基本CRUD操作的 javaAPI： package com.example.demo.hadoop;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.
Hadoop | 集群搭建
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/85707774 1.0 集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeM
Hadoop | shell日志采集
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/86013505 1，配置cron，用于周期性跑shell命令 */1 * * * * sh /export/servers/shell/uploadFile2Hdfs.v2.sh
2，日志采集shell： #!/bin/bash
#set java env
export JAVA_HOME=/home/hadoop/app/jdk1
Hadoop | 概念与生态圈
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/85706397 1.0什么是HADOOP 1.HADOOP是apache旗下的一套开源软件平台 2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3.HADOOP的核心组件有 A.HDFS（分布式文件系统）
B.YARN（运算资源调度系统）
C.MAPREDUCE（分布式运算编程
Hadoop | MapReduce 原理分析
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/86016406 概念 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 为什么要MAPREDUCE （1）海量数据在单机上处理因为硬件资源限制，无法
Hadoop | MapReduce的并行度
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/86088156 1 . MapTask并行度决定机制 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行实例是否越多越好呢？其并行度又是如何决定呢？ mapTask并行度的决定机制 map阶段的并行度由客户端在提交job时决定，而客户端对map阶段并行度的规划的基本逻辑为： 将待
File /hdfsapi/test/a.txt could only be replicated to 0 nodes instead of minReplication (=1).
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/85844657 问题： 将文件上载到HDFS时，可能会遇到以下异常。 抛出的异常： File /hdfsapi/test/a.txt could only be replicated to 0 nodes instead of minReplication (=1).
翻译： 线程“main”中的异常org.apache.hadoop.
Hadoop | MapReduce 中MapTask输出结果的分区
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/86088776 maptask的任务执行完毕之后，会将输出结果先放入缓存中进行分区处理，这个处理动作可以通过Partitioner组件完成： 实例：统计流量且按照手机号的归属地，将结果数据输出到不同的省份文件中 package cn.itcast.bigdata.mr.provinceflow;
import java.util.Has
Hadoop | MapReduce的序列化
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/86088119 MAPREDUCE中的序列化 Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系。。。。），不便于在网络中高效传输； 所以，hadoop自己开发了一套序列化机制（Writable），精简，高效，只对提交的数据进行序列化。 自定义
Hadoop | 代码：求出每一个订单中成交金额最大的一笔交易
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fragrant_no1/article/details/86309767 订单数据： 订单编号,商品编号,金额
10000,p1,100
10000,p2,230
10001,p1,120
10001,p2,650
10001,p3,101
10002,p1,102
分析 订单的排序问题 从高效的方面出发，最好用框架以有的功能来实现，maptask自带排序功能，但是默认的排序不满足需求，所以
Git 的常用操作命令
博客引用处（以下内容在原有博客基础上进行补充或更改，谢谢这些大牛的博客指导）： Git 常用操作命令 初始化配置 生成本地公钥：ssh-keygen
配置本地global信息：
1.git config --global --list查看global配置, git config -l查看所有config
2.git config --global user.name "Your Name Comes Here"配置用户名
3.git config --global user.email you
Hadoop | MapReduce的配置
博客引用处（以下内容在原有博客基础上进行补充或更改，谢谢这些大牛的博客指导）： MapReduce配置与优化 配置详解 core-site.xml是全局配置，hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。 本文配置基于2.7.3版本。另外只列出了部分属性。 core-default.xml hdfs-default.xml mapred-default.xml
C语言实验——图形输出（字符常量练习）
1112 #include<stdio.h>
int main()
{
printf("#\n");
printf("##\n");
printf("###\n");
printf("####\n");
printf("#####\n");
printf("######\n");
return 0;
}
C语言实验——求绝对值（选择结构）
1117 #include<stdio.h>
int main()
{
int a;
scanf("%d",&a);
if(a<0)
{
a=-a;
printf("%d\n",a);
}
else
printf("%d\n",a);
return 0;
}
C语言实验——求三个整数的最大值
1154 #include<stdio.h>
int main()
{
int a,b,c,t;
scanf("%d,%d,%d",&a,&b,&c);
if(a>b)
{
t=a;
a=b;
b=t;
}
if(a>c)
{
t=a;
a=c;
c=t;
}
if(b>c)
{
t=b;
b=c;
c=t;
}
printf("max=%d\n",c);
return 0;
}
Office 365：如何为OneDrive for Business的安全性保驾护航？
近期再与客户讨论Office365管理方案时，客户提到作为Office365管理员的一些痛点，其中痛点之一是他要对公司的知识管理的安全性负责，其中有一项就是科研中心的部分用户能够保证受邀访问SharePointOnline的SiteCollection读取数据，但部分用户需要禁用OneDriveforBusiness的使用，但不确定用户如今的使用情况，如何管理比较合理。在分析这个使用场景时，为了要
C语言实验——从大到小输出a、b、c（选择结构）
1118 #include<stdio.h>
int main()
{
int a,b,c,t;
scanf("%d %d %d",&a,&b,&c);
if(a<b)
{
t=a;
a=b;
b=t;
}
if(a<c)
{
t=a;
a=c;
c=t;
}
if(b<c)
{
t=b;
b=c;
c=t;
}
printf("%d %d %d\n",a,b,c);
return 0;
}
C语言实验——某年某月的天数
1160 #include<stdio.h>
int main()
{
int n,i;
char c;
scanf("%d%c%d",&n,&c,&i);
if(i==2)
{
if((n%4==0&&n%100!=0)||(n%400==0))
printf("29\n");
else
printf("28\n");
}
if(i==1||i==3||i==5||i==7||i==8||i==10||i==12)
printf("31\n");
今日推荐
周排行