用Scrapy获取股票历史交易数据

爬虫策略制定与优化

1、 可通过东方财富网平台获取相关数据，具体访问链接为http://quote.eastmoney.com/stocklist.html)股票代码
2、 网易财经网站支持直接下载csv格式的数据文件，其访问路径大致为http://quotes.money.163.com/trade/lsjysj_600508.html#01b07
3、 上述两个网站均无需验证cookie信息，数据采集过程较为便捷，只需合理设置请求间隔时间，避免过于频繁的访问行为即可
4、 从东方财富网所获取的股票代码中包含大量以数字1或5开头的基金代码，而此类基金在网易财经平台中无法查询到对应数据，因此需对这些股票代码进行过滤处理

股票代码获取方法

在此过程中需要应用beautifulsoup库，可通过执行pip install bs4命令进行安装。

所有股票代码均位于 <div id="quotesearch"> 标签内部的两个 <ul> 元素中，并包含在 <a> 标签内；
所提取的股票代码可保存至本地txt文件，或存