B__站评论的爬虫-2021年10月

B_站评论的爬虫-2021-9

一.工具准备

1. 在开始编写爬虫程序之前，我们需要预先配置好开发环境并导入必要的依赖库。本案例主要依赖 Python 的标准库以及一个常用的第三方网络请求库。具体而言，我们需要引入 requests 库来处理 HTTP 请求，利用 json 模块来解析服务器返回的 JSON 格式数据，同时使用 time 模块来管理时间戳或控制请求频率，以避免触发反爬机制。

    	安装命令：pip install requests
    
    
      
    

二.网页分析

1.首先，我们需要通过浏览器对目标网页进行初步的逆向分析。具体的操作步骤如下：首先正常打开我们要抓取数据的 B 站视频页面，注意此时不要进行任何额外的交互操作。接着，按下键盘上的 F12 键唤出开发者工具面板。在面板中切换到“Network”（网络）标签页，随后刷新当前页面以捕获初始加载时的所有请求。为了快速定位关键数据接口，我们在筛选框中输入 "main" 进行过滤（注：原图中可能存在误输为 "oid" 的情况，请以实际接口名称为准）。
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/im