定向采集定向采集,指我们已经有了明确的采集目标与采集规则,比如我们要采集一个新闻站点,那么首先取得新闻列表中全部详情页面的链接地址,再通过链接请求详情页面的内容,这就是一个标准的定向采集爬虫。
技术基础 本章主要讲解爬虫需要用到的 Java 常识和一些类库等,方面初学者或者使用其他语言的同学快速上手,如果您本身会使用 Java 编程语言,那么本章可以略过不看。
文章的受众是对Java编程有一定基础的开发者、希望了解网络爬虫原理并在Java中实现的读者。文章会介绍网络爬虫的基本原理、Java中实现网络爬虫的方法、避免被反爬虫机制识别等相关技术。