Advertisement

Python 3使用requests获取网页内容

阅读量:

通过在命令行界面中执行相应指令,即可完成对所需模块的安装操作。

复制代码
     pip install requests
     pip install random
    
    
      
      
    

以获取豆瓣网站页面信息为例

复制代码
    #导入需要用到的模块
    import requests
    #准备一个网址
    url='https://movie.douban.com/top250'
    res=requests.get(url) #requests模块会自动解码来自服务器的内容,可以使用res.encoding来查看编码
    html=res.text
    
    
      
      
      
      
      
      
    

部分网站需要通过设置浏览器请求头信息才能正常访问,以下将介绍如何通过添加浏览器头部信息来获取网页内容。了解自身浏览器头部信息的方法如下,以谷歌浏览器为例:在任意网页中右键点击,选择“检查”选项进行操作。

在这里插入图片描述
复制代码
    #

全部评论 (0)

还没有任何评论哟~