Advertisement

Python爬虫实战:使用requests库实现抓取知乎热门话题

阅读量:

前言

借助Python编程语言进行知乎热门话题的采集工作,无需过多赘述。

现在,让我们正式进入操作环节。

开发工具

Python版本: 3.6.4

相关模块:

requests库;

re库;

pandas库;

lxml库;

random库;

以及若干Python系统自带的模块。

环境搭建

将Python进行安装,并将其路径配置至系统环境变量中,随后通过pip工具下载并配置所需的相关模块即可完成。

思路分析

以知乎平台上热议话题《如何看待网传腾讯实习生向腾讯高层提出建议颁布拒绝陪酒相关条令?》为研究对象,本文展开相关分析。

目标网址

复制代码
    https://www.zhihu.com/question/478781972
    
    
      
    

网页分析

通过分析网页源代码等手段,确认该页面内容为动态加载形式,需借助浏览器开发者工具进行数据抓取。打开Network→XHR选项,随后在页面上持续下拉操作,即可获取所需的数据包。

数据包

获取到的

全部评论 (0)

还没有任何评论哟~