大数据基础:HDFS(分布式文件系统)前置知识,吞吐量,数据块,并发

大数据基础:HDFS(分布式文件系统)前置知识

吞吐量

首先在书面解释时,速率是额定或标称的,但是实际传输时,其实不稳定的,吞吐量就是取平均值。假设你从学校骑电动车回家,这条公路限速80km/h,这就可以理解成“带宽”,也就是“最高传输速率”。所骑电动车厂家宣称最高时速30km/h,这可以理解成“速率”,也就是“额定速率或标称速率”。但是你不可能全程以30km/h速度行驶,可能会碰到红灯或者堵车,这时你的速度就会放慢了,这条路的长度除以你行驶时间所得平均行驶速度,就可以理解成“吞吐量”。

数据块

每个磁盘都有默认的数据块大小,数据块是磁盘读、写的最小单位。HDFS同样也有块(block)的概念,但是比磁盘的数据块大的多,默认为128mb,作为独立的存储单元,但与面向单一磁盘的文件系统不同的是,HDFS中小于一个数据块大小的文件不会占据整个块的空间,(例如1mb的文件储存在128mb的块中,文件只使用1mb的储存空间,而不是128mb)

并发

无论上一个任务是否完成,下个任务都可以开始执行

猜你喜欢

转载自blog.csdn.net/qq_18555105/article/details/121439530
今日推荐