网络爬虫HTTP请求处理优化

1.为什么设置headers？

requests基于Python开发的高效HTTP库。
headers作为解决requests防采集的关键手段之一，在某种程度上等同于深入网页服务器层面进行操作以规避采集行为。
对于防采集站点而言，在配置相关参数时适当设置header信息并模仿浏览器行为以规避反爬虫机制。

2.如何查看headers的设置？

常用的网络浏览器如Google Chrome或Firefox，在访问某网页时，请按照以下步骤操作：首先右键点击并选择"检查"选项；其余操作流程可在图片中查看（其余操作流程可在图片中查看）。打开页面后需进行刷新操作以显示所需信息；若需查看元素的位置，则可采取查看元素的方式完成操作（若需查看元素的位置，则可采取查看元素的方式完成操作）。

在User-Agent字段中，请配置以下内容：`User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/53