操作hadoop常用的命令
1.查看hdfs某一文件夹的大小： hadoop fs -du -h /路径 2.查看文本的前十行、后十行....... 随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100 返回最后几行的样本数据 hadoop fs -
搭建框架：Spring Cloud 和 Spring Boot版本匹配
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.5.13.RELEASE</version>
</parent>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.cloud</gr
HttpURLConnection调用远程接口
public static String ResultToString(InputStream inputStream){
InputStreamReader inputStreamReader = new InputStreamReader(inputStream);
BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
StringBuilde
impala刷新元数据方法
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haoxiaoyan/article/details/85163029 1.hue使用Perform incremental metadata update，不要用Invalidate all metadata and rebuild index，如果是invalidate metadata什么都不加，宁愿重新启动catalogd。 2.如果涉及到表的schema改变，使用invalidate m
Impala cannot read or execute the parent directory of dfs.domain.socket.path
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haoxiaoyan/article/details/85163063 valid short-circuit reads configuration: Impala cannot read or execute the parent directory of dfs.domain.socket.path 解决方法： 1、去HDFS中找到dfs.domain.socket.path配置 2、找到报
java.io.IOException: Another Balancer is running.. Exiting .
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haoxiaoyan/article/details/85163130 平衡数据报错java.io.IOException: Another Balancer is running.. Exiting ... 由于在页面点击取消，但是实际进程还在后台运行，解决方法如下： ps -ef |grep hdfs.sh 之后kill掉即可
flume采集日志到hdfs遇到采集一会不采集
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haoxiaoyan/article/details/85162790 环境4c 4G虚拟机，上面部署应用业务，flume采集应用日志，几乎机器可用内存就几十M,还有4Gswap交换内存，硬件环境就这样，提好几次添加内存，资源有限一直没加。 之前业务日志小flume也可以正常采集日志，但是最近公司flume经常假死，明明进程在数据就是采集不到，之前没在意。都是重启后看有日志，就不管了，第二天一看只
winform TabControl选项卡不可用
页面加载，第二个选项卡不可用，页面上进行操作后单击按钮才可跳转到下一个选项卡，并且不可返回上一个选项卡（这是什么需求我滴龟龟） 由于winform不自带某个TabPage不可用的属性，所以模拟了一下这个功能（客户需求没办法）。 或者也可以假装两个按钮再加上Panel的
private void DlgRVTaskRun_Load(object sender, EventArgs e)
{
//绘制选项卡
tcContainer.DrawMode = TabDrawMode.O
mysql卸载后再次安装（5.5跟5.7版本安装步骤不一样）注意事项！！！！
具体看：https://blog.csdn.net/cxy_Summer/article/details/70142322 安装后记得在 环境变量 中进行mysql_home和path配置 path 然后在 管理--》服务 找到mysql进行启动
cdh实现 impala deamon 和hiveserver2 ha 并在hue内集成他们jdbcha
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haoxiaoyan/article/details/86152506 安装haproxy实现ha Install the load balancer: root@bigdata-150021:~# yum -y install haproxy root@bigdata-150021:~# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.b
win 10 + archlinux 双系统安装（BTRFS文件系统）、配置、美化----双系统的安装
版权声明：本文为博主原创文章，转载需注明出处。 https://blog.csdn.net/AsynSpace/article/details/80199143 很多人在安装archlinux的时候发现网上的教程好多好多，看wiki又看的迷迷糊糊，去网上问别人又总是被说伸手党，不想和别人的一个样，又有着自己的想法，所以看完这个看那个，感觉很迷茫。 本文主要适用于有计算机分盘基础，想安装archlinux又不想舍弃windows，想有个高x格的系统又不想看网上繁琐的步骤各种各样的教程的人或者其他
win 10 + archlinux 双系统安装（BTRFS文件系统）、配置、美化----安装桌面环境配置和基本美化（xfce4+lightdm）
版权声明：本文为博主原创文章，转载需注明出处。 https://blog.csdn.net/AsynSpace/article/details/80213647 接着上一篇的讲，当你安装完系统之后，你会发现，开机后仍然是命令行界面。步骤如下： 登入系统，输入 root ， 然后敲击 回车 ， 首先，你需要运行如下命令进行有线连接的设置： # systemctl start dhcpcd
# systemctl enable dhcpcd 安装Xorg: # pacman
利用snapper实现archlinux的系统还原
版权声明：本文为博主原创文章，转载需注明出处。 https://blog.csdn.net/AsynSpace/article/details/80654030 首先，安装snapper和btrfs-progs # pacman -S snapper btrfs-progs 创建配置文件 # snapper -c cfg_home create-config -f btrfs /home
# snapper -c cfg_root create-config -f btrfs /
archlinux下使用anaconda
版权声明：本文为博主原创文章，转载需注明出处。 https://blog.csdn.net/AsynSpace/article/details/80654379 安装anaconda后需要在用户目录的.bashrc文件内加入 export PATH=/opt/anaconda/bin:$PATH 将anaconda的bin目录添加至path中。 conda常用命令： 创建名为python36的环境。指定python版本为3.6 conda create --name python36 pyth
今日推荐
周排行