入门学习 网络流量抓包分析与C#爬虫开发

先前开发了一个简易的C#爬虫程序，但部分数据无法通过网页获取，这些信息仅存在于桌面应用程序或移动端应用中。

为了获取所需数据，查阅相关资料并学习网络抓包技术，尝试从应用程序中提取目标信息。

使用Fiddler工具进行抓包的前提条件是第三方应用满足以下要求：

1. 应用基于IE、Chrome等浏览器运行
2. 应用采用WinInet库实现HTTP/HTTPS通信
3. 应用内嵌Webbrowser控件

如果第三方程序未使用Windows系统提供的WinInet库进行HTTP通信，而是采用自定义库（如VC程序中的libcurl、Java程序中的URLConnection或OkHttp、C#中的System.Net.Http等），则这些库会在内部完成HTTP数据包的封装与解析，最终直接调用操作系统的socket API发送数据。由于操作系统无法为这类应用设置代理，因此无法通过Fiddler进行抓包。

可通过depends工具检测第三方应用是否依赖WININET.DLL文件，也可借助VisualStudio自带的spy++工具查看应用是否内嵌Webbrowser控件。若存在内嵌，则其内容可通过Fiddler实现抓包。

对于不符合上述条件的应用程序，Fiddler将无法直接抓取数据，此时需要创造条件以实现抓包操作。

Fiddler的