Scrapy框架抓取我爱我家二手房信息存储CSV、mysql（IP代理及User-Agent）
发布时间
阅读量：
阅读量
有一段时间没有外出活动了
scrapy startproject pachong2(创一个pachong2的文件)
cd pachong2 #进入创的文件
scrapy genspider aijia wx.5i5j.com #生成名叫aijia的爬虫然后就生成了这些
访问我爱我家网站的主页后导航至二手房信息页面https://wx.5i5j.com/ershoufang开始编写爬虫脚本
发现了生成的aijia项目并提供了若干个 urls
import scrapy
class AijiaSpider(scrapy.Spider):
name = 'aijia'
allowed_domains = ['www.5i5j.com']
start_urls = ['http://www.5i5j.com/']
def parse(self, response):
pass由于目标为二手房因此需要调整位于star
全部评论 (0)
还没有任何评论哟~