Advertisement

Python获取国家政务平台关键词搜索文件并分类存储

阅读量:
复制代码
    # 成果爬取国家政务服务平台,关键词“突发事件”,获取连接列表
    # -*- encoding:utf-8 -*-
    import urllib.request
    from bs4 import BeautifulSoup  # 导入urllib库的request模块
    import lxml                    #文档解析器
    import os                      #os模块就是对操作系统进行操作
    import numpy as np       #列表、字典、字符串等中计算元素重复的次数
     
    urls=[]
    titles=[]
    #爬取所有新闻的url和标题,存储在urls和titles中,这里range(1)表示只爬取1页。   
    # for i in range(1):
    url='http://sousuo.gov.cn/s.htm?t=paper&advance=false&n=&codeYear=&codeCode=&sort=&q=%E7%AA%81%E5%8F%91%E4%BA%8B%E4%BB%B6'
    res = urllib.request.urlopen(url)  #调用urlopen()从服务器获取网页响应(

全部评论 (0)

还没有任何评论哟~