Advertisement

Python网络爬虫获取彩票排列3完整历史数据

阅读量:

学习了福彩3D网络爬虫技术后,在一个工作日后开发了一个体彩排列3的爬虫抓取程序,并为了感谢广大网友的支持与帮助,在此分享代码

首先选择了一家规模较大的网站——500彩票网(www.datachart.500.com),该网站作为美国上市公司运营多年,在封堵IP方面相对较为严格不易被封禁,并因此能够长时间稳定运行代码

http://datachart.500.com/pls/

研究一下这个网页的内容。
通过输入开奖期号一次查看排列3全部历史数据。
然而网页代码我看不太懂。
于是安装了一个http抓包程序Fiddler.

通过此路径可正确获取真实 url

在连接上方, 04001 表示排列3上市第一期的发行期号, 19117 代表我在编写该程序时所对应的开奖期号.

然后开始编写Python代码时,请注意以下几点: 首先, 有时访问该网页可能会出现连接问题; 其次, 这是因为每次请求获取的数据量过大导致服务器资源不足; 此时无法打开页面需进行重新尝试; 最终必能成功。

将本地文件命名为pl3.xls,并完成了全部数据的抓取过程。接下来的数据分析与预测工作则需要依靠广大网民的集体智慧。

复制代码
    # -*- coding: utf-8 -*-
    """
    Created on Sat May  4 22:00:31 2019
    @auth

全部评论 (0)

还没有任何评论哟~