大数据采集入门学习网络爬虫技术使用urllib库

urllib库

该网络请求库的核心模块是基于Python的。
能够模仿浏览器功能的行为可以在指定的服务器上发起HTTP请求，并存储返回的数据。
导入urlib库常用模块：

    import urllib.request
    import urllib.error
    import urllib.parse

【常见函数】：

在Python3的urllib库中，所有的相关网络请求方法都被整合进urllib.request模块里。

1、urlopen函数
打开链接，获取网页内容元素

    url="http://wthrcdn.etouch.cn/weather_mini?city={}".format(city)
    #打开网址，读取数据 返回http对象  默认为get请求
    r=urllib.request.urlopen(url)
    print(r.read())

详解：
（1）网络地址：指示目标服务器的网络地址;
（2）数据字段：若此字段被指定，则会导致服务器转为POST方式处理该请求；默认情况下采用GET方式获取数据。
（3）返回信息：返回信息是一个HTTP客户端HTTPResponse实例，在其属性中包含了响应内容的相关属性与操作方法。