用Python编写一个爬虫用于提取酷狗音乐的前500首歌曲的数据（编号为1）

阅读量：

前言

这段时间正在学习python爬虫，今天分享一个关于酷狗音乐top500的爬虫

python库

标准库
time

第三方库
requests库
BeautifulSoup库

自建库
agent库（自己创建）

编译环境

python版本：3.5

工具：pycharm

agent库

运用Python编写爬虫程序时，我们偶尔时候需要模拟浏览器发送网络请求，并建立代理服务器列表。在每次运行爬虫脚本时调用一次预先选择好的代理地址以避免被封IP，并且这样的方法既快速又高效。

agent模块

复制代码

    #伪造浏览器# -*-coding:utf-8 -*-
    
    import random
    
    # 返回一个随机的请求头 headers
    def getheaders():
    # 各种PC端
    user_agent_list_2 = [
        # Opera
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 O

全部评论 (0)

还没有任何评论哟~