网络爬虫总结

网络爬虫基础总结

• 网络爬虫

• • 1. 爬虫简介

  • • 网页结构

  • 2.BeatufulSoup 解析网页

  • • 0.BeatufulSoup的介绍
    • 1.安装
    • 2.1 简单使用
    • 2.2 BeautifulSoup 解析网页: CSS
    • • 2.2.1 什么是 CSS

  • 2.2.1 CSS 的 Class

  • 2.2.2 按 Class 匹配

    • 2.3 BeautifulSoup 解析网页: 正则表达
    • • 2.3.1 正则表达式

  • 2.3.2 正则匹配

  • 3.更多请求/下载方式

  • • 3.1 多功能的requests
    • • 3.1.1 获取网页的方式

  • 3.1.2 安装requests

  • 3.1.3 requests get 请求

  • 3.1.4 requests post 请求

  • 3.1.5 上传图片

  • 3.1.6 登录

  • 3.1.7 使用Session登录

    • 3.2 下载文件
    • 3.3 小练习：下载美图

  • 4.加速你的爬虫

  • 5.高级爬虫

  • 6 S