node js简单爬取网页图片

```handlebars
/**
 * 请求网站实例
 * 将数据保存本地文件
 */

const http = require('https');
const fs = require('fs');
const cheerio = require('cheerio');

let url = 'https://www.csdn.net/';

http.get(url, (res) => {
    
    
    //安全判断
    const {
    
     statusCode } = res; //状态码
    const contentType = res.headers['content-type']; //文件类型
    console.log(statusCode, contentType);

    let err = null;
    if (statusCode !== 200) {
    
    
        err = new Error('请求状态错误')
    } else if (!/^text\/html/.test(contentType)) {
    
    
        // 格式内容是网页
        err = new Error('请求类型错误')

    }
    if (err) {
    
    
        console.log(err);
        res.resume(); //重置缓存
        return false;
    }
    // 数据分段,只要接收数据就会触发data事件, chuck  每次接收的数据片段
    let rawData = '';
    res.on('data', (chuck) => {
    
    
            console.log("----");
            rawData += chuck.toString('utf8');

        })
        // 数据流传输完毕
    res.on('end', (chuck) => {
    
    
        console.log("数据传输完毕")
            // 将请求的数据保存到本地
        fs.writeFileSync('./bibi.html', rawData);
        // 通过cheerio分析
        let $ = cheerio.load(rawData); //将请求的网页进行转化
        $('img').each((index, el) => {
    
    
            console.log($(el).attr('src'))
        })
    })
}).on('error', (err) => {
    
    
    console.log(err)
})
爬取效果图:

![在这里插入图片描述](https://img-blog.csdnimg.cn/0a765eea2bd848b0b6806e49830b8850.png)

猜你喜欢

转载自blog.csdn.net/weixin_45932157/article/details/130998864
今日推荐