WebCollector爬虫框架用于微信公众号文章的爬取与持久化处理

〇、Java爬虫框架有哪些？

1.nutch：Apache旗下开源爬虫项目，适用于搜索引擎开发，分布式爬虫仅为其众多功能之一，整体功能完备，文档资料齐全。

2.heritrix：该框架较为成熟，在用户中使用广泛，具备独立的Web管理控制台，并集成了HTTP服务器功能。

3.crowler4j：仅提供爬虫核心操作功能，易于上手和使用。

4.webmagic：这是一个具备可扩展性的爬虫框架，覆盖了从数据下载、URL管理、内容解析到数据存储的完整生命周期过程。

5.gecco：一款轻量级网络爬虫工具，整合了jsoup、httpclient、fastjson、spring、htmlunit以及redission等多个优秀技术框架。

6.webcollector：一种无需复杂配置且便于进一步开发