Advertisement

利用shell提取网页内容

阅读量:

使用shell抓取网页内容

为了获取网页中的所有PDF文档,在工作中时常需进行此类操作时,则会开发一个用于提取网页所有PDF文件的Shell脚本

准备

抓取网页

资源

在这里插入图片描述

抓取内容 :数据手册下所有PDF文件,例如BZX884S_SER

获取抓取内容

由于抓取的内容是不是静态网页,而是请求返回,需要获取数据请求链接

通过F12打开浏览器开发者模式

点击Network

请打开您所需访问的链接。比如您需要获取PDF列表,则可以选择下图中的这些页面号码来获取数据,并已选择了第一页。

在这里插入图片描述

结果显示如下图。目标链接位于此框内。当遇到过多无法找到所需链接时,请重复步骤1。

![在这里插入图片描述](https://ad.itadn.com/c

全部评论 (0)

还没有任何评论哟~