Hadoop搭建笔记(01)

本文是我学习Hadoop搭建过程中的各种笔记,内容来自于各种公开的教程,起点非常低,从Linux基础开始,直至在PC上搭建Hadoop成功,是真正的从零开始。

感谢过程中帮助我的各位认识的和不认识的老师。


1Hadoop简单介绍http://hadoop.apache.org/releases.html


Hadoop是既:分布式储存,分布式计算的一个工具。


Hadoop在计算机集群上面,使用简单编程模型出来的数据的一个平台。


Hadoop包括在Hadoop生态圈中,是Hadoop生态圈中卓越的一员;Hadoop生态圈中还有:①HBase 列式数据库可集群化。Hive数据仓库工具,可以把Hadoop下的原始结构化数据变成Hive中的表。Zookeeper用于协调分布式系统上的各种服务,实现Namenode自动切换。④Sqoop用于在Hadoop和关系型数据库之间交换数据。⑤Chukwa架构在Hadoop之上的数据采集与分析框架,代理将数据发给收集器,收集器定时将数据写入Hadoop集群,指定定时启动的Map-Reduce作业队数据进行加工处理和分析。⑥Pig Hadoop客户端使用类似于SQL的面向数据流的语言Pig Latin。⑦Avro数据序列化工具,用于支持大批量数据交换的应用。支持二进制序列化方式,可以便捷,快速地处理大量数据。⑧Cassandra Hbase类似


拓展补充:


FlumeCloudera开发的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据。数据源可定制、可扩展,数据存储系统可定制、可扩展。


2Linux 概念介绍


2.1. linux定义:


linux【可任意使用在X86,或64位的硬件平台上】 是一套免费使用和自由传播(其源码开源的,可自行更改)的类Unix【源码闭源,对硬件有依赖性】操作系统,基于POSIX UNIX 的多用户、多任务、支持 多线程 和 多CPU 的系统操作


2.2 linux特点:


1.一切都是文件


2.每个软件都有确定的用途    【在linux 上,安装了就不再去卸载了】


3.完全免费


4.完全兼容POSIX1.0标准


5.多用户、多任务


6.良好的界面   【界面,相比不如Windows(侧重个人使用),Linux更加侧重做服务器】


7.支持多种平台


2.3 公司常用Linux 的版本介绍:

Red HatRHEL 收费,贴近企业,提供服务,后期维护费用偏高;

Centos:免费,RHEL的社区克隆版本,放在社区,任何人都可修改,功能上不如Red Hat

Debian:运行起来及其稳定,非常实用做服务器;

Ubuntu:是Debian的衍生版,当也是比较受欢迎的操作系统;


还有一些系统,比较侧重于界面。Linux操作系统一般是不带界面的】


补充总结:

Linux是一个免费的像Windows一样的操作系统

Linux中几乎一切基于文件,文件几乎没有后缀区分

Linux中有且仅有一个超级用户 root

Linux一般常用作服务器    【稳定、安全、高效】



3Vmware安装虚拟机创建linux操作系统安装


上面认识了Linux系统,下面安装Linux


Linux 的安装


要安装Linux操作系统,首先要安装Vmware虚拟平台


序列码:1F04Z-6D111-7Z029-AV0Q4-3AEH8


Vmware是一个虚拟平台,创建好了,才能创建虚拟机


新建的虚拟机相当于构建的一台新电脑,这台电脑有内存,CPU等一系列东西


[所有的操作系统都被压缩成ISO镜像]


一步步安装好,此时的hadoop01虚拟机就相当于一个电脑的空壳,里面还没有任何的操作系统。


安装好hadoop01这个虚拟机后,为其配置操作系统


 


拓展补充:


Linux四种安装方式:


1,光盘安装,最常用最便捷的方法。
缺点是需要在机器边上,比如在机房,不能远程控制。
还有一个缺点是需要有光驱,对于没有光驱的机器比较困难。
2
ISO镜像文件安装,不需要光驱,不能重新分区和格式化。
3
,网络远程安装,确定是需要实现配置好网络连接,对技术要求较高。
4
,硬盘克隆,也就是直接从装好的一台机器上通过硬盘克隆直接克隆一个系统过来,
缺点是时间长,克隆完后需要更改新系统的网络配置,不然网络不能使用。


 


补充总结VMware Workstation 页面 右击 选项的含义:


minimize   最小化


unmaximize  最大化


move   移动


resize   调整


always on top   总在最前面


always on visibleworkspace  始终在可见的工作区上


only on this workspace   只在这个工作区上


move to workspace right   移动到工作区的权利


move to another workspace  移动到另一个工作区




猜你喜欢

转载自blog.csdn.net/zxqjinhu/article/details/80323542