JAVA网络爬虫（一）：初探

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/hujingshuang/article/details/78916509

前言

感觉写爬虫代码是学习JAVA最合适不过的入门项目了，于是在学习的过程中就爬了一下链家二手房和链家经纪人的数据，就有了这篇文章。

工具

• IDEA + Maven + Httpclient + Jsoup + MySQL

说明

• Maven：用来管理项目非常的方便；
• Httpclient：抓取链家网页的HTML源码；
• Jsoup：对HTML进行数据解析，配合正则表达式；
• MySQL：将数据存储到数据库，方便查询。

流程

配置

下面是我项目的pom.xml文件内容：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>cn.jensonhu</groupId>
  <artifactId>WebCrawler</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>WebCrawler</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpclient</artifactId>
      <version>4.5.4</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
    <dependency>
      <groupId>org.jsoup</groupId>
      <artifactId>jsoup</artifactId>
      <version>1.11.2</version>
    </dependency>

      <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core -->
      <dependency>
          <groupId>org.apache.logging.log4j</groupId>
          <artifactId>log4j-core</artifactId>
          <version>2.10.0</version>
      </dependency>

    <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>6.0.6</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
    <dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>fastjson</artifactId>
      <version>1.2.44</version>
    </dependency>

  </dependencies>
</project>

还有一点要说明的是：链家网对爬虫非常的友好，几乎没有反爬虫，所以放心大胆的去爬数据吧，不会封IP的。

在后面的文章中将详细介绍如何获取网页，并提取数据等。