Python 学习 --- 日志 分析 数据分发 与 分析 多 线程 queue 模块 日 联合 分析

日志分析

概述

系统、应用及安全相关的各种日志信息将被持续产生，并通过详细的数据记录来追踪这些信息。通过对这些数据的深入解析能够全面掌握服务器的运行状态以及整体性能水平。此外，在深入研究这些数据的基础上还可以进一步研究客户群体的分布特征以及他们的行为模式，并在此基础上对未来可能出现的情况进行预判。

一般采集流程,

日志产出->采集(Logdtash,Flume,Scribe) -> 存储->分析->存储(数据库,NoSQL)->可视化

开源实时日志分析ELK平台

Logstash 采集日志，并将其存储进 Elasticsearch 集群中；Kibana 则通过从该集群中查询数据生成图表，并将结果返回到浏览器界面。

数据提取

结构化数据 ---- 数据库为结构化数据

半结构化数据 ----日志等文本,CSV文件

日志属于非结构化的但具有系统性和格式化的数据形式。这些数据能够分解为独立的行和列，便于以表格形式进行解读和分析。同时还可以深入分析其中所包含的信息。

非结构化数据 音频视频

文本分析

日志文件属于文本类型的数据存储形式，在实际应用中通常会依赖于文件输入输出（File I/O）操作、字符串处理功能以及正则表达式匹配机制等多种技术手段。利用上述技术手段，则能够有效地从日志文件中提取所需的信息