Python学习Fiddler's tool包抓取网络流量

Fiddler的实用价值解析

近期我访问了大量网站，每个站点的访问机制和页面翻页逻辑各不相同，这使得在初始阶段常常耗费大量时间。此时，合理运用抓包工具就显得尤为重要。
由于爬虫程序本质上是模拟浏览器对网站进行访问，而抓包工具能够监控这一过程。我们可以通过浏览器先访问目标网站，随后在Fiddler中查看HTTP请求的相关信息，例如请求头内容、数据内容等，并据此模拟浏览器发送的数据。只要程序发出的HTTP请求与正常访问时的数据完全一致，所返回的结果必定是正确的页面内容。
若获取的内容不符合预期，则需要将实际结果与正确结果进行比对分析。

fiddler常用的功能介绍

查看访问网站的一些数据

以下图片呈现了我在浏览网页过程中，fiddler工具所显示的操作界面

① 我们访问了哪些网站？
fiddler界面左侧白色背景区域会清晰地列出所有已访问的网站信息，涵盖通过浏览器访问以及通过自定义程序访问的各类网址。
当用户点击某一特定网站时，右侧区域将展示与该网址相关的详细访问信息。
② 网站的内容在哪里查看？
位于右侧下方的区域