Hadoop +API之idea+maven搭建HDFS开发环境

1、首先你要有一个开发工具idea
2、你要有一个集群–hadoop集群,集群都没有你要使用什么来进行开发呢?或者说你要开发了哪里去呢?对吧
环境搭建—本地环境配置
环境搭建–集群环境搭建
3、集群以及本地开发环境的jdk版本要保持一致
4、maven
4.1添加maven的pom依赖
在这里插入图片描述
https://mvnrepositi.com
搜索hadoop—选择对应版本----就有maven的pom依赖,根据需求搜索其他的对应开发包进行相应的pom依赖添加
这里需要添加hadoop以及hdfs的相应依赖
4.2 修改maven库位置
file-setting–maven
在这里插入图片描述

5、创建文件夹resource并修改权限为resource root
在这里插入图片描述
创建完resource文件后,需要将hadoop集群中的hdfs-site.xml和core-site.xml
拷贝到reource目录下
在这里插入图片描述
好了!大功告成,到此为止,开发环境的搭建已经完成,接下来就是hdfs api的书写工作,请看下一博客内容

发布了37 篇原创文章 · 获赞 0 · 访问量 415

猜你喜欢

转载自blog.csdn.net/weixin_42864905/article/details/104394228