Python简单爬虫
发布时间
阅读量：
阅读量
一、爬虫
（1）通用爬虫：通用网络爬虫作为搜索引擎抓取系统（如Baidu、Google、Yahoo等）的关键构成部分，其核心功能在于将互联网中的网页内容下载至本地，从而构建一个完整的互联网内容镜像副本。
当用户通过手机端与PC端访问同一网站页面时，所呈现的内容存在差异。这是由于浏览器在向服务器发起请求时，会附带请求header中的相关属性信息，服务器据此识别请求来源的终端类型，并返回相应的页面内容。
二、实现简单的爬虫，爬取，获取Python工程师信息
1、版本V1：抓取首页页面信息
#V1：面向对象方法，实现简单的爬虫
# 获取首页的python工程师信息
import requests
class _V1():
def __init__(self,url,header):
self.url = url
self.header = header
def submit(self):
response = requests.get(self.url,self.header).text
print(response)
if __name__ == '__main__':
url = ''
header = {'Us全部评论 (0)
还没有任何评论哟~