2. 技术基础

本章主要讲解爬虫需要用到的 Java 常识和一些类库等，方面初学者或者使用其他语言的同学快速上手，如果您本身会使用 Java 编程语言，那么本章可以略过不看。

2.1 开发环境

本教程选择 Java 编程语言环境，而没有使用 python。目前网上存在大量的 python 爬虫教程，而 Java 教程寥寥无几，这并不代表 Java 做爬虫不行，Java 语言拥有严谨的语法结构和海量的类库，我认为 Java 在开发爬虫方面拥有后发优势。

准备开发环境

JDK

从Oracle官网下载 JDK 并安装。
本教程选择 Java SE 8 版本 jdk，您也可以自行选择更高版本，理论上都是向下兼容的。

IntelJ IDEA

开发工具我选择了 IDEA 而不是 Eclipse，从IntelJ官网下载并安装。

IDEA 比 Eclipse 好用太多，基本属于用过就回不去的感觉。但是 IDEA 是收费软件，建议如果有能力还是购买正版支持吧，学生凭借学生证可以申请正版授权免费使用，嫌麻烦还可以使用社区版（免费），或者自行破解，我在这里就不提供破解方法了。

MySQL

结构化数据存储，我们选用MySQL，版本选择5.7。之所以不选择更高版本，是因为目前绝大多数云服务器提供的版本最高就是5.7，为了保持统一，所以我们也选择5.7。

从MySQL官网下载MySQL并安装。

为了方便测试和查看数据，我们还需要一个图形化的数据库编辑器。

这里选择Navicat for MySQL做为我们的图形化工具。

2.2 Java 基础

基础这节没啥意思，先不写了，列一下需要了解的知识点。

• 类和对象
• 常量
• 命名规范
• 基本语法
  • 条件判断
  • 循环
• 数组
• 位运算
• 枚举
• 比较器
• 方法
• 集合类
  • 动态数组：[]
  • 散列表：HashMap
• 文件
  • 文本文件
  • 二进制文件

2.3 框架与类库

• 常用工具集 Hutool
  Hutool 是一个小而全的 Java 工具类库，通过静态方法封装，降低相关 API 的学习成本，提高工作效率，使 Java 拥有函数式语言般的优雅，让 Java 语言也可以“甜甜的”。
  Hutool 是项目中“util”包友好的替代，它节省了开发人员对项目中公用类和公用工具方法的封装时间，使开发专注于业务，同时可以最大限度的避免封装不完善带来的 bug。
  源码地址：https://www.hutool.cn
  maven 引用：

    <!-- 一个Java工具包 http://www.hutool.cn/ -->
    <dependency>
        <groupId>cn.hutool</groupId>
        <artifactId>hutool-all</artifactId>
        <version>4.5.1</version>
    </dependency>

• 图片处理库 thumbnailator
  thumbnailator 是谷歌出品的一个图像处理类库，可以压缩图片大小、修改尺寸、支持网络地址，便于我们采集图片并存储为统一格式，其链式赋值方式极易使用，虽然已不再维护，但是够用就好。
  源码地址：https://github.com/coobird/thumbnailator
  maven 引用：

    <!-- google图片压缩 -->
    <dependency>
        <groupId>net.coobird</groupId>
        <artifactId>thumbnailator</artifactId>
        <version>0.4.8</version>
    </dependency>