htmlunit初识

package com;

import java.io.IOException;
import java.net.MalformedURLException;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class Test {

	public static void main(String[] args) {
		WebClient webClient=new WebClient();  //实例化客户端
		try {
			HtmlPage page=webClient.getPage("http://www.xinhuanet.com/ent/dy.htm");//解析获取页面
			System.out.println("网页html："+page.asXml());//获取html
			System.out.println("------------");
			System.out.println("网页文本："+page.asText());  //获取文本
		
		
		} catch (FailingHttpStatusCodeException e) {
			e.printStackTrace();
		} catch (MalformedURLException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		
		finally {
			webClient.close();//关闭客户端，释放内存
		}
		
	}
}

运行结果：

为了模拟浏览器请求，htmlunit提供可以给请求加上请求头的方式，只需在WebClient的构造方式中加上重载参数（选择对应的浏览器版本）即可：

 

运行结果和之前一样的。

使用代理IP来访问某个页面，也只需重载下WebClient构造参数即可：