Nodejs单页面爬虫技术—许
npm install node //导入npm 所有的依赖包
//第一步导依赖包
var http = require('http');
var cheerio = require('cheerio');
//最后就是获取url链接
var url = require("url");//导入url依赖包
var testUrl="http://www.66lc.com/lcyw/202006/t20200619_1898065.shtml";//定义url地址
var p = url.parse(testUrl,true);//获取地址
console.log(p.href);//取到的值是：http://www.66lc.com/lcyw/202006/t20200619_1898065.shtml
console.log(p.protocol);//取到的值是：http:
console.log(p.hostname);//取到的值是：locahost
console.log(p.host);//取到的值是：localhost:8888
console.log(p.port);//取到的值是：8888
console.log(p.path);//取到的值是：/select?aa=001&bb=002
console.log(p.query);//取到的值是：{aa: "001", bb: "002"} 未传入true取到的值是：aa=001&bb=002
//下面2个，URL.parse(testUrl,true)必须传入true
console.log(p.query.aa);//取到的值是：001
console.log(p.pathname);//渠道的值是：/select
//第二步导向网页发起请求
http.get('http://www.66lc.com/lcyw/202006/t20200619_1898065.shtml',function(res){
var data = '';
res.on('data',function(chunk){//on就是代表事件的意思
data += chunk;//data是存储，chunk网页里的源代码，把网页里的源代码放到data里
});
res.on('end',function(){//on就是代表事件的意思
file(data);//调用外部方法
})
});
//在data这个存储包里的查找你想获取的信息
function file(data) {
var $ = cheerio.load(data);//这就是将整个网页的标签变成$符号，可获取元素的对象
var big_div=$('.titt');//这是父级元素
var big_home_tit=$('li');
var big_a=$('#menu');
var big_span=$('.info');
var zw=$('#zw');
var content='';
var ca='';
var ca1='';
var ca2='';
var s=[];
var title=[];
//新闻标题
big_div.each(function (index,item) {
let tmp={
'标题':$(item).find('h1').text()
}
content+=JSON.stringify(tmp);
console.log(content);
});
//新闻发布时间
big_span.each(function (index,item) {
let s1={
'发布时间':$(item).find('span').text()
}
s+=JSON.stringify(s1);
console.log(s);
});
//查询网页新闻正文不带html标签与新闻正文带html标签
zw.each(function (index,item) {//each也是事件
let a1 = {
'新闻正文不带html标签': $(item).find('p').text(),
'新闻正文带html标签': $(item).find('p').html()
}
ca2 += JSON.stringify(a1);
console.log(ca2);
});
//判断此新闻是否原创
big_span.each(function (index,item) {
var name=$(item).find('span').eq(0).text();
var name1='鹿城新闻网';
console.log(name);
if(name1=== name){
console.log('此新闻是原创');
}else{
console.log('此新闻非原创');
}
});
}