jsoup简介
jsoup是一款Java的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,
可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下
-
1、从一个URL,文件或字符串中解析HTML
-
2、使用DOM或CSS选择器来查找、取出数据
-
3、可操作HTML元素、属性、文本
jsoup的主要类层次结构如图所示:
文档输入
jsoup可以从包括字符串、URL地址以及本地文件来加载HTML文档,并生成Document对象实例。
// 直接从字符串中输入 HTML 文档
String html = "<html><head><title>learn jsoup</title></head>"
+ "<body id='body'><p>Parse and traverse an HTML document.</p></body></html>";
Document doc = Jsoup.parse(html);
// 从URL直接加载 HTML 文档
Document doc = Jsoup.connect("http://itmyhome.com/").get();
String title = doc.title();
// 从文件中加载HTML文档
File input = new File("D:/index.html");
Document doc = Jsoup.parse(input, "UTF-8","http://itmyhome.com");
第三种方式parse方法也可以不指定第三个参数,因为HTML文档中会有很多例如链接、图片以及所引用的外部脚本、css文件等,
而第三个名为baseURL的参数的意思就是当HTML文档使用相对路径方式引用外部文件时,
jsoup会自动为这些URL加上一个前缀,也就是这个 baseURL。
例如 <a href=/project>itmyhome</a>
会被转换成 <a href=http://itmyhome.com/project>itmyhome</a>
。
数据抽取
使用DOM方法来遍历一个文档
String html = "<html><head><title>learn jsoup</title></head>"
+ "<body id='content'><a href='itmyhome.com'>hello</a>"
+ "<a href='blog.itmyhome.com'>jsoup</a></body></html>";
Document doc = Jsoup.parse(html);
Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text();
System.out.println(linkHref + ", " + linkText);
}
打印
itmyhome.com, hello
blog.itmyhome.com, jsoup
说明
Elements这个对象提供了一系列类似于DOM的方法来查找元素,抽取并处理其中的数据。具体如下:
查找元素
-
getElementById(String id)
-
getElementsByTag(String tag)
-
getElementsByClass(String className)
-
getElementsByAttribute(String key) (and related methods)
-
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling()
-
Graph: parent(), children(), child(int index)
元素数据
-
attr(String key)获取属性 attr(String key, String value)设置属性
-
attributes()获取所有属性
-
id(), className() and classNames()
-
text()获取文本内容text(String value) 设置文本内容
-
html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
-
outerHtml()获取元素外HTML内容
-
data()获取数据内容(例如:script和style标签)
-
tag() and tagName()
操作HTML和文本
-
append(String html), prepend(String html)
-
appendText(String text), prependText(String text)
-
appendElement(String tagName), prependElement(String tagName)
-
html(String value)
使用选择器语法来查找元素
Document doc = Jsoup.connect("http://itmyhome.com/").get();
Elements links = doc.select("a[href]"); // 带有href属性的a元素
Elements pngs = doc.select("img[src$=.png]");// 扩展名为.png的图片
Element icons = doc.select("span.icon").first();// class等于icon的span标签
Elements resultLinks = doc.select("#header p"); // id为header元素之后的p元素
从以上可以看出jsoup使用跟jQuery一模一样的选择器对元素进行检索,jsoup的选择器还支持表达式功能