1.前言
先举个例子,你要把大桶水从A搬到B,如果一次性搬过去,很累吧,而且容易出事故。怎么办,接一个管子,让水从A流到B。这样不仅容易实现而且好控制,node的stream就是这个原理。
stream是一种数据传输手段,是端到端的信息交换方式,而且是有序的,是逐块读写的,这个块就是Buffer。不懂buffer的看我这篇博客https://blog.csdn.net/fageaaa/article/details/146610452。
stream的好处是,他不像传统程序那样,一次讲一个文件读入内存,而是逐块读取数据,处理内容,而不是将其全部保存在内存中。
stream由三部分构成:
- 源数据source
- 目的地dest
- pipe运输管道
他的基本语法是source.pipe(dest)
,就是源数据利用管道,传输到dest。
2.stream分类
说白了就是stream的流向,是往目的地流,还是往源数据流,还是双向都能流。
Node.js 提供了几种不同类型的流,包括:
- 可读流(Readable Stream):用于从数据源读取数据。例如,当你想从一个文件或网络连接中读取数据时,可以使用可读流。
- 可写流(Writable Stream):用于将数据写入目标。例如,当你想将数据写入文件或网络连接时,可以使用可写流。
- 双向流(Duplex Stream):同时具有可读和可写的能力。例如,net.Socket 和 fs.ReadStream 都是双向流。
- Transform 流:在读取和写入过程中对数据进行转换。例如,zlib 模块提供了压缩和解压缩的 Transform 流。
2.1 可读流
这种类型的流主要用于从数据源读取数据。当数据准备好后,可以通过监听 ‘data’ 事件来获取数据。当没有数据可读时,可以通过监听 ‘end’ 事件来知道何时数据已经读取完毕。
const fs = require('fs');
const readStream = fs.createReadStream('./resources/input.txt');
readStream.on('data', (chunk) => {
console.log(`Received ${
chunk.length} bytes of data.`);
});
readStream.on('end', () => {
console.log('No more data.');
});
2.2 可写流
这种类型的流主要用于将数据写入目标。可以通过监听 ‘drain’ 事件来知道何时可以继续写入数据。当写入过程中发生错误时,可以通过监听 ‘error’ 事件来处理错误。
const fs = require('fs');
const writeStream = fs.createWriteStream('./resources/output.txt');
writeStream.write('Hello, World!');
writeStream.end();
2.3 双向流
这种类型的流同时具有可读和可写的能力。例如,net.Socket 和 fs.ReadStream 都是双向流。双向流可以同时处理数据的读取和写入。
案例:通过 net 模块创建一个 TCP 服务器,并使用双向流处理客户端的连接和数据传输。
const net = require('net');
const server = net.createServer((socket) => {
socket.write('Hello, client!');
socket.end();
});
server.listen(3000, () => {
console.log("Server is running on port 3000");
});
2.4 转换流
在读取和写入过程中对数据进行转换。例如,zlib 模块提供了压缩和解压缩的 Transform 流。可以通过在 ‘data’ 事件回调中返回一个对象来转换数据,并使用 ‘push’ 方法将结果推回流中。当没有更多数据可以读取或写入时,可以通过监听 ‘end’ 或 ‘finish’ 事件来知道何时结束转换。
const fs = require('fs');
const zlib = require('zlib');
// 创建一个可读流
const readableStream = fs.createReadStream('./resources/input.txt');
// 创建一个转换流,用于压缩数据
const transformStream = zlib.createGzip();
// 创建一个可写流,用于将压缩后的数据写入文件
const writableStream = fs.createWriteStream("./resources/output.gz");
// 将可读流、转换流和可写流连接起来
readableStream.pipe(transformStream).pipe(writableStream);
3.组合流
3.1 管道流
管道流(Pipeline Stream)是一种特殊的流操作,它通过将多个流连接在一起,实现数据的连续处理和传输。在 Node.js 中,可以通过将多个流连接在一起,形成一个管道流,以便将数据从一个流中传递到另一个流中。
管道流通常用于将数据从一个操作转换到另一个操作,例如从读取文件到压缩数据,或者从解压缩数据到写入文件。通过将多个流连接在一起,可以轻松地处理数据的读取、转换和写入操作。
案例:读取文件、压缩数据和写入文件
const fs = require('fs');
const zlib = require('zlib');
// 创建一个可读流,用于读取文件
const readableStream = fs.createReadStream('input.txt');
// 创建一个转换流,用于压缩数据
const transformStream = zlib.createGzip();
// 创建一个可写流,用于将压缩后的数据写入文件
const writableStream = fs.createWriteStream('output.gz');
// 将可读流、转换流和可写流连接起来,形成一个管道流
readableStream.pipe(transformStream).pipe(writableStream);
在这个例子中,我们首先创建了一个可读流,用于读取名为input.txt
的文件。然后,我们创建了一个转换流,使用 Gzip
算法对数据进行压缩。接下来,我们创建了一个可写流,用于将压缩后的数据写入名为output.gz
的文件中。最后,我们将可读流、转换流和可写流连接起来,形成一个管道流。当程序运行时,它将读取input.txt
文件中的内容,使用Gzip
算法进行压缩,并将压缩后的数据写入output.gz
文件中。
3.2 链式流
链式流(Chaining Stream)是一种通过连接多个流操作来处理数据的机制。在 Node.js 中,可以通过将多个流连接在一起,形成一个链式流,以便将数据从一个流传递到另一个流。
链式流通常用于将多个操作串联起来,例如从读取文件到压缩数据,再到写入文件。通过将多个流连接在一起,可以轻松地处理数据的读取、转换和写入操作。
案例:读取文件、压缩数据和写入文件
const fs = require('fs');
const zlib = require('zlib');
// 创建一个可读流
const readableStream = fs.createReadStream('input.txt');
// 创建一个转换流,用于压缩数据
const transformStream = zlib.createGzip();
// 创建一个可写流,用于将压缩后的数据写入文件
const writableStream = fs.createWriteStream('output.gz');
// 将可读流和转换流连接起来,形成一个链式流
readableStream.pipe(transformStream);
// 将链式流的输出连接到可写流中
transformStream.pipe(writableStream);
在这个例子中,我们首先创建了一个可读流,用于读取名为input.txt
的文件。然后,我们创建了一个转换流,使用 Gzip
算法对数据进行压缩。接下来,我们创建了一个可写流,用于将压缩后的数据写入名为output.gz
的文件中。最后,我们将可读流和转换流连接起来,形成一个链式流。然后,我们将链式流的输出连接到可写流中。当程序运行时,它将读取input.txt
文件中的内容,使用Gzip
算法进行压缩,并将压缩后的数据写入output.gz
文件中。