casperjs写爬虫

爬取笔趣看首页中的一些小说的相对链接,只是一个熟悉练手的项目

var casper = require("casper").create();

function getLinks() {
    var links = document.querySelectorAll("div.p10 li>a");
    return Array.prototype.map.call(links, function(e) {
        return e.getAttribute("href");
    });
}

casper.start("http://www.biqukan.com/", function() {
    // 阻塞直到DOM中有与选择器字符串匹配的元素
    this.wait(2000, function () {
        this.echo("I've waited for 2 seconds")
    });

    links = this.evaluate(getLinks);
    // 在当前的上下文环境下执行一个表达式
    /*
    evaluate()是在casperjs环境和你所打开的网页的桥梁,
    也就是你使用evaluate()是在操作你当前打开的DOM文档,
    是casperjs环境和DOM文档的一个交互,
    这就像你是在用浏览器的控制台控制html内容是一样一样的
    */
    // this.capture("D://图片/元尊.png")
});


casper.run(function() {
    this.echo(links.length +"\n" + "links found:");
    this.echo(" - " + links.join("\n - ")).exit();
});

猜你喜欢

转载自blog.csdn.net/killeri/article/details/80752832