Deepdive 的 原理

Deepdive原理

DeepDive是一种新型的数据管理系统, 其主要功能是从非结构化的文本中提取结构化的信息, 并能在同一个系统中实现数据提取、整合以及预测流程, 从而让用户能够迅速构建一个完整的端到端的数据管道, 比如黑暗数据BI（商业智能）系统等实例。通过赋予用户从头到尾构建系统的自由权, DeepDive让开发人员能够专注于那些能直接提升应用程序质量的关键部分, 而不再受制于传统的流水线式架构限制——这些开发人员必须自行构建提取器、整合代码和其他组件, 而且对这些修改者的变动对其数据产品质量的影响却不为人所知。这种关键性的见解使得DeepDive能够在短时间内产出更高质量的数据。借助DeepDive, 我们可以挖掘实体间错综复杂的关系, 并推断出与这些实体相关的事实

1.数据处理

加载原始输入数据

    articles(id      text,
    	   content text).

DeepDive系统默认采用Stanford NLP工具对文本进行处理，并能够输出包括分词（Word Segmentation）、词干（Lemma）、
Word Segmentation）、
Word Segmentation）、
Word Segmentation）以及实体识别（Named Entity Recognition）等方面