python-反爬虫

1. 什么是爬虫?

这种程序在互联网中持续运行，如同蜘蛛般不断爬行，一旦发现所需资源，便会将其下载（即HTML内容）；同时还能模仿浏览器的行为，迅速获取页面中的信息。

2. 浏览网页的过程中发生了什么?

• 浏览器输入http://www.baidu.com/bbs/;
  • 1). 依据所设定的DNS配置，获取www.baidu.com对应的主机IP地址；
  • 2). 根据端口号确定与服务器端哪个应用程序进行通信；
  • 3). 百度服务器接收来自客户端的请求；
  • 4). 向客户端主机返回响应内容（包括html、css和js等文件）；
  • 5). 浏览器根据接收到的html内容进行解析和执行，最终呈现出美观的网页界面；

    </li>                                                                                                                                                                                                <li
    style="margin: 0px 10px 0px 5px; width: 120px;