Advertisement

Python scrapy Requests库学习

阅读量:

#最近在学习爬虫技术,将整个学习过程进行记录,以便日后查阅。
##二、requests篇
*requests模块:Python语言中自带的一个用于处理网络请求的工具。
作用:可以模拟浏览器发送HTTP请求。
使用方式:(requests模块的编码及使用步骤)
-确定目标网址
-设置User-Agent伪装头
-处理请求参数
-发送请求
-获取服务器返回的数据
-将数据保存至本地
安装环境:通过pip install requests命令进行安装
Pycharm安装教程:https://www.runoob.com/w3cnote/pycharm-windows-install.html)
示例:

复制代码
    #-需求:爬取搜狗首页的页面数据
    import requests
    if __name__ == "__main__":
    #step 1:指定url
    url = 'https://www.sogou.com/'
    #step 2:发起请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)

全部评论 (0)

还没有任何评论哟~