Python实现爬取猫眼并进行数据分析

通过抓取猫眼top100榜单数据，采用Request请求库结合四种内容提取方式：正则表达式、lxml配合xpath路径、BeautifulSoup搭配css选择器以及BeautifulSoup结合find_all函数，对网页信息进行采集，从而掌握这些常见提取技术的使用方法。

爬取目标

• 从目标网页中抓取排名前100的影片数据，包括影片名称、封面图、排名位置、评分数值、参演人员、上映地区等关键信息，并将这些数据整理存储为csv格式的文本文件。
  • 基于所获取的数据集，开展基础层面的数据可视化处理与分析工作。

所需库的使用与功能

 import requests

    
 import re
    
 import time
    
 import csv
    
 from requests.exceptions import RequestException
    
 from bs4 import BeautifulSoup
    
 from lxml import etree
    
    
    
    

如何爬取数据

通过使用requests库进行网页数据抓取，具体实现代码如下！

 def get_one_page(url):

    
     headers = {