filebeat, kafka, logstash, elasticsearch中的替换成功

阅读量：

项目简介

公司业务涉及将应用日志以JSON格式存储于ES系统中，并通过Kafka作为缓冲层处理数据流量，在Logstash上执行数据字段筛选以优化信息质量

复制代码

    {"date":"2019-07-31 10:09:16.674","level":"INFO7","userCode":"3434343","clientIp":"192.168.200.57","clientId":"12","hostName":"192.168.210.57","requestURL":"http://","logger":"Sample","msg":{"我是":"address","birthday3":"天气真好","birthda1":"2019-02-03","birthda3":"2019-03-05","birthda2":"2019-12-05","content":"<s>sdfjdki</s><sdfd>
    </sdfd>
    dfdfdfd"}}

遇到问题

json包含换行符，并将其以显式的\n形式存在导入到kafka系统中时，在实际的日志记录中是不会显示这些换行符的。经过对logstash过滤器中的gsub功能进行测试与探索后发现，在采用了包括回车换行（\n）和制表符（\x0a）等方式进行替换处理后仍无法解决问题。然而

全部评论 (0)

还没有任何评论哟~