Advertisement

Python主题爬虫

阅读量：

利用 Python 实现简单的主题爬虫

通过 Python 编程语言开发一个基础的主题爬虫程序，其核心功能是针对特定主题及目标网站进行深入抓取，从而提取相关网页的标题信息与网址链接，仅用于学习与研究目的。

爬取结果：

e-commerce/20200501185439

实验代码：

复制代码 
    import csv
    import urllib.request
    from io import BytesIO
    from bs4 import BeautifulSoup
    import gzip
    
    # 1.初始化
    # 输入关键词
    topic = input("输入爬取主题：")
    # topic = '运维'
    # 设置爬行深度和初始网页URL
    deep = 2
    firstUrl = ''
    
    # 发送HTTP请求时的HEAD信息，用于伪装为浏览器
    headersParameters = {
    'Connection': 'Keep-Alive',
    'Ac

全部评论 (0)

还没有任何评论哟~

相关文章推荐