Python爬虫获取所有网站的方法确实很有效

通常我们需要在网站中搜索得到我们需要的信息，这里分为二种情况：

第一种 直接改变网址就可以得到你想要搜索的页面：

def GetWebPage(x): # 我们定义了一个获取页面内容的功能, x 用于传递你希望在页面中搜索的内容
url = 'http://xxxxx/xxx.cgi?&' + '在 URL 中插入了你的参数' # 根据你的具体需求进行调整
page = urllib2.urlopen(url) # 并成功访问该链接
pageContent = page.read() # 并将其全部加载到内存中
return pageContent # 并返回该网页内容的 HTML 格式表示

此类型 POST 方法旨在将您搜索的信息放置于 postdata字段中，并通过此操作引导您前往所需页面。

def GetWebPage(x): #我们声明一个获取页面的函数,参数x用于作为查询输入的部分 url = #这个网址是你进入搜索界面的入口地址
‘http://xxxxx/xxx’ #这个字符串是你访问搜索界面的具体路径

postData = ur