河南濮阳网站建设,wordpress怎么加背景,邯郸网站设计多少钱,手机触屏网站开发教程这段时候一直在研究ELK框架#xff0c;主要集成在对fluentd和nxlog的研究上#xff0c;国内文章不多#xff0c;主要看了一下官方的API#xff0c;配合自己的理解#xff0c;总结了一下#xff0c;希望可以帮到刚入行的朋友们#xff01; Fluentd#xff08;日志收集与…这段时候一直在研究ELK框架主要集成在对fluentd和nxlog的研究上国内文章不多主要看了一下官方的API配合自己的理解总结了一下希望可以帮到刚入行的朋友们 Fluentd日志收集与过滤,server Fluentd是一个免费而且完全开源的日志管理工具简化了日志的收集、处理、和存储你可以不需要在维护编写特殊的日志处理脚本。Fluentd的性能已经在各领域得到了证明目前最大的用户从5000服务器收集日志每天5TB的数据量在高峰时间处理50,000条信息每秒。它可以在客户端和服务端分别部署客户端收集日志输出到服务端。 fluentd的工作由它的配置文件决定我们可以设置它的类型格式端口绑定主机tag标签等。 sourcetype tcptag pilipaformat noneport 24224bind 0.0.0.0/sourcefilter docker.**type parserformat jsontime_format %Y-%m-%dT%H:%M:%S.%L%Zkey_name logreserve_data true/filtermatch **type stdout/match
/ROOT Source节点 source主要是配置一个TCP格式为所有端口为默认的24224绑定主机为自己IP的服务它对应的客户端就要是TCP的我们的nxlog就是这种协议的架构上说就是一个c/s结构由nxlog负责把数据发到fluentd上面。 filter节点 filter就是过滤规则当source.tag复合filter的规则时就执行这个filter进行过滤行为match是fluentd收到数据后的处理 type stdout是指在控制台输出而我们生产环境把它输出到了elasticsearch上面 type elasticsearch处理的格式是json如果在进行parser.json失败后数据就不会正常的写入指定的数据表了当然你可以把异常的数据存储到elasticsearch的其它表里。 自己在实践中总结的地方 source里类型为tcp类型时它的tag是很重要的我们的程序需要提供这个tag当然如果你指定了端口那这个tag就是当前端口的而filter要根据这个tag去匹配自己比如windows的tag它会找以windows开头的fitler。filter里的key_name对应客户端发送消息时的主属性名称有的是log有的是message有的是msg像nxlog这种客户端它在使用tcp时key)name是message下面说几种情况 1 匹配了filter但没有找到key_name会有下面提示 2 没有任务key_name,会在结尾出现\r符号我们需要去自己在output里过滤它否则json转换失败 3 找到了对应的key_name 4 fluentd.conf配置注意点 感谢各位的阅读 希望本文章可以帮您快速的解决问题 转载于:https://www.cnblogs.com/lori/p/7740143.html
