Scrapy分布式爬虫去重与指纹过期两种方法——思路

2.23 更新：

其实最早想到的第一种方法，在完成这篇博文快两天我就完成了。原本打算在接下来的日子里专门介绍实现的方法和代码来记录这个过程的, 但因为实在懒得催促自己动手撰写一篇介绍文章来记录这个过程, 所以一拖再拖直到现在都没动笔. 把实现的位置放在这里吧，默认情况下就是说如果以后有机会的话再做进一步的操作（简单来说就是说除非有时间才会考虑下一步）。

项目的 GitHub 地址是 scrapy_redis_expiredupefilter 这个 GitHub 项目对应的地址

注意

地址：https://github.com/AaronJny/scrapy_redis_expiredupefilter

emmm，名字起得有点low。毕竟起名苦手= =！

---

建议

转载请注明出处：<>

---

scrapy如今被视为当下最流行的、广受欢迎的Python爬虫框架之一。借助scrapy技术，开发人员能够迅速构建高效的爬虫程序。

在默认设置下，默认情况下，默认状态，默认情况下，默认设置下，默认状态，默认情况下

无需深入探讨的相关问题；关于这方面的话题在网络上有很多资源；这不是我们当前研究的主要方向；无需过多展开相关内容。

完成分布式爬虫的开发后, 我们面临着一个关键问题: 如何实现基于时间的请求指纹过期机制?

如果不是很理解这个问题的话，我们举个例子