Python爬虫实战包括requests+xpath模块和爬取豆瓣评分

前言

利用利用requests+xpath爬取豆瓣影评，废话不多说。

让我们愉快地开始吧~

开发工具

**Python版本：**3.6.4

相关模块：

requests模块；

jieba模块；

pandas模块

numpy模块

pyecharts模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

前期准备

1.获取页面内容

    # 爬取页面 url\
    douban_url = 'https://movie.douban.com/subject/26647117/comments?status=P'\
    # requests 发送请求\
    get_response = requests.get(douban_url)\
    # 将返回的响应码转换成文本（整个网页）\
    get_data = get_response.text

2.分析页面内容，获取我们想要的内容

• 访问目标页面
• 通过按下键盘快捷键F12来进入开发者工具，并定位所需的数据位置
• 仅需获取评论人及其发表的评论内容

![页面分析](https://ad.itadn.com/c/weblog/blog-im