嵩天《Python网络爬虫与信息提取》：中国大学排名定向爬虫

在完成对requests库及robots协议的讲解之后，嵩天老师进一步详细阐述了如何借助BeautifulSoup库实现网页内容的解析与数据提取。该部分内容是在前述知识的基础上，结合requests库与BeautifulSoup库的相关技能，针对软科中国大学排名页面开展定向数据抓取操作。

说明：爬虫练习仅为学习目的，不涉及商业用途，若存在侵权情况，请及时联系并删除相关内容！

目标网页：https://www.shanghairanking.cn/rankings/bcur/2021>

数据采集目标：获取上海软科官方网站发布的中国顶尖高校排名信息，并在IDLE界面中展示高校名称、位次、所属地区及综合得分等具体内容。

所用工具：requests/BeautifulSoup

目录

1. 页面内容分析

2. 程序架构规划

3. 执行结果展示

4. 遇到的问题与处理记录

1.网页解析技术应用

进入前述软科中国大学排名的网页界面，选取2021年度最新发布的排名数据，此时页面呈现的内容如下：

![](https://ad.itadn.com/c/web