使用爬虫技术从起点中文网的小说中进行数据获取
发布时间
阅读量:
阅读量
首先打开起点中文网,网址为:https://www.qidian.com/
本次实战的目标是获取一本名为《大千界域》的小说。本次实战仅为交流学习之用,请访问起点中文网并订阅此书以便观看。
随后访问这部小说的章节信息页面,请参考链接https://book.qidian.com_(info/3144877#Catalog)

点击检查按钮并使用浏览器开发者工具获取页面源代码。发现每一章都有对应的URL链接。因此我们只需提取本页面的HTML内容。接下来可以通过BeautifulSoup和正则表达式等工具就能提取出所有章节对应的URL并保存到一个URL列表中。完成整个爬虫任务后便大功告成了!


基于我的思
全部评论 (0)
还没有任何评论哟~
