Python网络爬虫获取彩票排列3完整历史数据
发布时间
阅读量:
阅读量
学习了福彩3D网络爬虫技术后,在一个工作日后开发了一个体彩排列3的爬虫抓取程序,并为了感谢广大网友的支持与帮助,在此分享代码
首先选择了一家规模较大的网站——500彩票网(www.datachart.500.com),该网站作为美国上市公司运营多年,在封堵IP方面相对较为严格不易被封禁,并因此能够长时间稳定运行代码
研究一下这个网页的内容。
通过输入开奖期号一次查看排列3全部历史数据。
然而网页代码我看不太懂。
于是安装了一个http抓包程序Fiddler.
通过此路径可正确获取真实 url
在连接上方, 04001 表示排列3上市第一期的发行期号, 19117 代表我在编写该程序时所对应的开奖期号.
然后开始编写Python代码时,请注意以下几点: 首先, 有时访问该网页可能会出现连接问题; 其次, 这是因为每次请求获取的数据量过大导致服务器资源不足; 此时无法打开页面需进行重新尝试; 最终必能成功。
将本地文件命名为pl3.xls,并完成了全部数据的抓取过程。接下来的数据分析与预测工作则需要依靠广大网民的集体智慧。
# -*- coding: utf-8 -*-
"""
Created on Sat May 4 22:00:31 2019
@auth
全部评论 (0)
还没有任何评论哟~
