Python 爬虫框架 Items

Items

核心任务即是从非结构化的数据来源组织结构化的信息,如网站实例. 基于Scrapy框架设计了相应的Item类来实现这一功能.

Item 具备作为简单容器的能力。该对象负责存储并维护收集到的数据。该对象支持像词典一样具有API接口，并允许定义可配置字段的语法结构。

声明Item

Item使用简单的class定义语法以及 Field 对象来声明。例如:

    import scrapy
    
    class ExtractionItem(scrapy.Item):
    	title = scrapy.Field()
    	link = scrapy.Field()
    	last_updated = scrapy.Field(serializer=str)

Item字段(Item Fields)

Field 实体定义了每个字段的 metadata. 具体说明如上例中 last_updated 字段表明该字段的序列化函数.

您可以选择指定每个字段的数据类型.Field对象无法限制接收任何类型的值.由于这一特点使得文档无法提供完整的key参考列表.每个key可以通过多个组件访问.您可以根据需要配置其他Field key.设置Field对象的主要目的是集中管理所有元数据信息.大多数基于