Advertisement

Web Scraper 高级用法:通过 CouchDB 储存数据 | 简易数据分析 18

阅读量:

这是简易数据分析系列的第 18 篇 文章。

原文链接:https://www.cnblogs.com/web-scraper/p/web-scraper-couchdb.html

在使用 web scraper 进行数据抓取的过程中,用户往往会面临一个棘手的问题:数据呈现无序状态。尽管在先前的教程中,我曾推荐借助 Excel 等工具对数据进行进一步整理和排序,但仍有部分数据难以实现有效排序。

实际上,针对数据无序的情况,也存在相应的解决方式,即更换数据库类型。

作为一款浏览器插件,web scraper 默认将抓取的数据存储于浏览器内置的 localStorage 数据库中。然而,该工具同样支持连接外部数据库——CouchDB 。只要完成数据库的切换操作,在数据抓取过程中便能够确保信息按照正确顺序进行存储。

1.CouchDB 下载与安装指南

CouchDB 的官方下载地址为:https://couchdb.apache.org/。。由于服务器位于境外,国内用户在访问时可能会遇到速度较慢的问题,因此我已将相关文件上传至云盘,用户可通过公众号

全部评论 (0)

还没有任何评论哟~