Hadoop安装配置了两三天,在马上秃头的情况下配置好了大数据实验环境

Hadoop安装与配置,大数据学习计划想法

在安装配置了两三天,从早到晚再到凌晨三四点

我!终于终于配置好了大数据实验环境!!感动到哭呜呜呜

配置的虚拟机为VMware,配置好的软件包括:

Ubuntu16.04
Hadoop2.7.1
Spark2.1.0
HBase1.1.5
JDK1.8
Scala2.11.8
MySQL
Kafka_2.11-0.10.2.0
Flume1.7.0
sbt
Maven3.3.9
MongoDB3.2.17
Hive2.1.0
Scala IDE(Eclipse4.7.0,Maven,Scala,sbt)

安装步骤主要按照厦门大学林子雨老师给的教程(链接:http://dblab.xmu.edu.cn/blog/285/#more-285)一步步走下来的,其中的困难只有亲自尝试过才知道吧,还好我没有放弃。用了这么长时间,搜索了无数个次,找解决方案,终于终于终于,配置好了。

困难虽多,但是在配置的过程中也学会了很多东西,比如说Linux的shell环境下文件操作、使用FileZilla从Windows系统中把文件传输到Linux系统中,也不仅熟悉了Linux系统,对先前学习的计算机网络也有了进一步的理解。当然,遇到的困难和收获不仅仅是这么多,学到的更是一种独立解决问题的思路和方法。在解决问题的过程中,也参看了一些网友的博客和帖子,对我也蛮有帮助的,不得不说,一篇好的文章是在是太有用了。同时我也注意到问题有大有小,但是都很重要。在后面的学习中,自己尽量写一些高质量的总结或帖子,原则就是“勿以善小而不为”。感恩。

注,FileZilla下载官网为:https://filezilla-project.org/使用方法是

1.在Windows系统下下载FileZilla Client 安装到Windows系统

2.在Linux终端(打开方式为Ctrl+Alt+T)使用ifconfig命令查看网络地址

3.按照老师给的教程传输吧(附上链接:http://dblab.xmu.edu.cn/blog/1608-2/

老师给的链接在有的浏览器打不开,可以直接复制在百度浏览器中打开就好了。

此外,十分感谢林子雨老师的给我在“课堂讨论区”的答疑 。希望自己能跟着老师课程的步伐认认真真能学到有用的东西。

附上老师中国大学MOOC的地址(https://www.icourse163.org/learn/XMU-1002335004#/learn/content)感兴趣的小伙伴可以来学习啊。

后续的学习计划是

1.先跟着林子雨老师入门大数据的学习,熟悉各个组件的架构与原理等

2.增强java基础,进阶java的并发、虚拟机(结合操作系统来理解)    

3.跟着清华学堂在线的老师学习大数据分析、大数据机器学习、高级大数据系统等

4.应用实践。

后面有时间的话一定要把学堂在线的《大数据科学与应用系列讲座》听完,挺长的好像几十个小时的时长吧。

加油!

猜你喜欢

转载自blog.csdn.net/weixin_44961794/article/details/90729406