java爬虫学习记录

使用的WebMagic框架学习
1.程序主体
主要实现PageProcessor接口，重写两个方法。

process，通过page.getHtml()获取到完整的页面内容（如果有js渲染的，加入依赖即可，如下），
然后对html页面处理获得自己想要的数据。有Css或$、xpath和regex三种方式选取。
1、css和 $ 是一样的，方式和jquery里面的选择器相似，例如 $(".sign",“text”) 代表获取.sign类里面的文本信息。
2、xpath,举例：.xpath("//p[@class=‘job_salary’]/text()")
开头必须两个//，text()代表获取类为job_salary的p标签里面的文本。
3、regex正则表达式，一般用来获取链接。
当获取到新的连接后，可通过将链接的url存入List集合放入page.addTargetRequests();括号对新链接进行爬取。这里要判断什么时候是新链接时，什么时候是原来的链接，用判断语句隔开处理数据。

       <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-selenium</artifactId>
            <version>0.7.5</version>
        </dependency>

getSite,可以设置一些参数，例如请求头，页面格式，重试次数，连接超时时间等。例如：
Site site=Site.me() .setRetryTimes(3)//重试5次 .setRetrySleepTime(5000)//5s间隔 .setTimeOut(10*1000) //连接超时 .setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0") .setCharset("utf-8");//10s请求时间
直接return 此site即可。

2.启动
下载器可以配置代理，通过先向代理请求，代理再向目标请求，防止被查ip。new MyProcessor()为自己创建的实现PageProcessor接口的类。因为采取到的url可能有重复，因此采用布隆去重，但是可能导致误去，但是肯定会把相同的找出来。优点是内存占用小，放的100000表示，留这么大的空间，比如你要抓取100个链接，那就写100多个的数字，比要抓取的多一点就好。采用布隆去重时，需添加依赖如下。

此外

//        创建下载器
//        HttpClientDownloader downloader=new HttpClientDownloader();
//        给下载器配置代理服务器信息
//        downloader.setProxyProvider(SimpleProxyProvider.from(new Proxy("111.225.153.105",3256)));
        //启动
        Spider spider = Spider.create(new MyProcessor())
//                .thread(5)//多少个线程
                .addUrl(url)//访问的网址
//                .setDownloader(downloader) //设置下载器
//              .addPipeline(new ImagePipeline("F:\\java学习\\testClimp"))//保存下载图片，new ImagePipeline这个是自己的类，继承了FilePersistentBase，实现Pipeline，然后写一个下载图片的方法即可。
                .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(100000)));//bloom去重
        spider.run();

        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>16.0.1</version>
        </dependency>

猜你喜欢