使用Logstash导出csv文件至Elasticsearch

需求

拟撰写一系列关于如何高效构建小型搜索系统的ElasticSearch实践教程，为直观呈现其搜索机制，需借助真实数据进行演示。选用kaggle平台提供的公开数据集Movies Dataset作为数据来源，考虑到展示目的仅需体现搜索逻辑，因此仅保留id与name两个字段，并通过Logstash工具将数据导入至ElasticSearch系统中。

Logstash原理解析

Logstash是一款开源的数据采集工具，作为ELK技术架构中的核心组件L，其主要功能是实现数据的ETL处理，并能够便捷地将各类数据导入至ElasticSearch等系统中。
Logstash的数据处理机制由三个关键阶段构成，依次为inputs → filters → outputs。

• Inputs负责从文本文件、数据库等多种数据源中提取信息，其中每条获取到的数据均被定义为一个event。
• Filters用于对所获取的event进行转换与处理，例如字段分割、字符转小写等操作。
• Outputs则承担将处理完成的event写入到持久化存储介质中的任务。

数据导入步骤详解

配置