Spring Boot + Java 爬虫 + 部署至 Linux (二)

这个小项目的核心业务就是开发一个自动化的数据采集工具——一个专业的网页 crawler 系统。该 crawler 的主要功能是抓取图片网站上的图片内容，并对这些图片进行格式解析和存储管理。由于其模块化设计特点, 该 crawler 系统具有较强的独立性和可扩展性, 可以单独部署运行而不依赖其他服务组件的支持. 对于那些只需快速搭建简单 crawler 的用户来说，则可直接参考本项目的代码结构进行简化配置

在进行爬虫操作之前，在开始抓取之前，在目标网站结构分析阶段就需要对目标网站的整体架构和组成部分有一个清晰的认识和规划。为了提高工作效率，在开始抓取之前，在目标网站结构分析阶段就需要对目标网站的整体架构和组成部分有一个清晰的认识和规划。为了提高工作效率，在目标网站结构分析阶段就需要对目标网站的整体架构和组成部分有一个清晰的认识和规划。为了提高工作效率，在目标网站结构分析阶段就需要对目标网站的整体架构和组成部分有一个清晰的认识和规划

一般图集的首地址会呈现一些核心数据包括标题大小各个图片的预览图等（当图片数量较多时会分页显示）我会将其命名为'outer'

而点击这些缩略图后方会进入到对应的图片页面上，在该页面上可以看到当前展示的图片地址以及下一张图片的展示地址，并将其命名为'inner'

。结构如下图：

![](https://cdl.it