cheerio爬取网页数据，存储到MySQL数据库

最近在做物流项目成本分析，需要爬取柴油价格数据，使用到了cheerio，cheerio实现了jQuery核心的一个子集。以下为爬取代码。

//getHtml.js，获取HTML页面数据
var http = require("http");

function gethtml(url,callback){
    http.get(url,function(res){
        var data = "";
        res.on('data',function(chunk){
            data += chunk;
        });
        res.on('end',function(){
            callback(data);
        });
    }).on("error",function(){
        callback(null);
    })
}

exports.gethtml = gethtml;

//getData.js，使用cheerio获取数据并存储到mysql数据库
const cheerio = require('cheerio');
const server = require('./getHtml');

var url = 'http://ny.gold600.com/';

server.gethtml(url,function(data){
    if(data){
        var $ = cheerio.load(data);
        var data = [];
        var list = $('.oilTable tbody tr:nth-child(odd)');

        list.each(function(index,element){
            let city = $(element).find('a').text().replace(/\s/g,''); // 获取标题
            let price = $($(element).find('td')[4]).text().replace(/\s/g,''); // 获取价格
            let time = $($(element).find('td')[5]).text().replace(/\s/g,''); // 获取价格
            data.push({city,price,time})
            // console.log(price)
            // console.log(element.children('td')[0].innerTEXT);
        })
        var str = '';
        data.forEach(function(item,index){
            if(index == 0){
                str += 'VALUES("'+item.city+'",'+item.price+',"'+item.time+'")';
            }else{
                str += ',("'+item.city+'",'+item.price+',"'+item.time+'")';
            }   
        })
        console.log(str)
        var connection = mysql.createConnection({
            host:'127.0.0.1',
            user:'root',
            password:'******',
            database:'price'
        });
        console.log(str)
        connection.connect();
        connection.query('DELETE FROM priceList');
        connection.query('ALTER TABLE priceList AUTO_INCREMENT=1');
        connection.query('INSERT priceList(city,price,time) '+str,function(error,results,fields){
            if(error) throw error;
            console.log('The solution is:',results);
            let a = results[1];
            console.log(a)
        })
        connection.end();
        console.log(value); // Success!
    }else{
        console.log("error");
    }
})

需要注意的是使用$(selector).find(selector)查找到的元素需要使用再次使用$()进行包裹才能使用cheerio提供方法,如:text()。