python爬虫 urllib模块反爬虫机制及UA解析
发布时间
阅读量：
阅读量
本文主要讲述了Python编程中urllib模块在反爬机制中的应用及其详细解析。文章中采用示例代码进行了深入阐述，并对其工作原理及实际应用进行了全面分析。对于学习编程知识或从事相关工作的读者而言，这篇文章提供了有价值的参考信息。如需进一步了解相关内容，请访问指定链接。
方法： 使用urlencode函数
urllib.request.urlopen()
import urllib.request
import urllib.parse
url = 'https://www.sogou.com/web?'
#将get请求中url携带的参数封装至字典中
param = {
'query':'周杰伦'
}
#对url中的非ascii进行编码
param = urllib.parse.urlencode(param)
#将编码后的数据值拼接回url中
url += param
response = urllib.request.urlopen(url=url)
data = response.read()
with open('./周杰伦1.html','wb') as fp:
fp.write(data)
print('写入文件完毕')全部评论 (0)
还没有任何评论哟~