爬虫学习总结与反思

近日在学习网络数据抓取技术过程中，整理出以下几点心得体会：

目录

• 一、请求处理
  • • 1. get函数的基础概念
    • 2. 响应对象的使用
    • 3. Request库中的异常处理
    • 4. 常用代码结构设计
    • 5. Request库中七个核心方法
    • 6. 访问参数的控制方式

  • 二、网络爬虫协议（Robots协议）

  • 三、BeautifulSoup库

    • • 1. 解析器的类型与选择
      • 2. BeautifulSoup库的基本构成要素
      • 3. 节点遍历操作方法
      • 4. 数据标记的三种分类方式
      • 5. find_all函数的应用场景

  • 四、正则表达式技术

    • • 1. 常见的操作符说明
      • 2. 主要功能函数解析
      • 3. 等效表达方式对比
      • 4. match对象的特性与应用
      • 5. 贪婪匹配与最小匹配的区别

  • 五、Scrapy框架概述

一、 Request

1. get函数初介绍

r = request.get(URL, params, **kawarg)

• params : 附加