Jsoup携带Cookie跳过登录和设置代理IP

使用Jsoup访问某些网站时,某些资源是必须登录过后才能进行获取的,因此在这个时候就需要保存一些会话信息,即当前Jsoup发起请求时附带Cookie信息
类似的比如:CSDN、学校管理系统
在这里插入图片描述
当我们登录过某个网站时,浏览器会存储该会话的Cookie,并在下次访问时携带,然后服务器根据会话信息进行验证
备注:上图显示的Cookie只有一个,某些网站可能有多个键值对,如果可以的话,在程序中都添加上

  Document doc = Jsoup.connect("URL")
                .userAgent("Mozilla")
                .timeout(3000)
                .cookie("XXX1", "XXX")
                .cookie("XXX1", "XXX")
                .post();
        System.out.println(doc);

如果频繁使用Jsoup抓取网站信息的话,会存在封IP情况,此时需要通过IP代理来访问,下面是设置代理IP的方式,其中代理IP可以从互联网上查找,有些公开免费使用的,也有些收费的几千个也就几块钱

System.setProperty("http.maxRedirects", "50");
System.getProperties().setProperty("proxySet", "true");
System.getProperties().setProperty("http.proxyHost", 代理IP地址);
System.getProperties().setProperty("http.proxyPort",端口);

原创文章 105 获赞 33 访问量 1万+

猜你喜欢

转载自blog.csdn.net/Octopus21/article/details/105606230
今日推荐