做产品推广什么网站会比较好,pc手机模板网站建设,虫虫wap建站源码,开发jsp网站前言
Elk#xff1a;filebeat搜集日志工具和logstash相同
Filebeat是一个轻量级的日志收集工具#xff0c;所使用的资源比logstash部署和启动时使用的资源更小
Filebeat可以运行在非Java环境#xff0c;他可以代理logstash在非Java环境上收集日志
Filebeat无法实现数据的…
前言
Elkfilebeat搜集日志工具和logstash相同
Filebeat是一个轻量级的日志收集工具所使用的资源比logstash部署和启动时使用的资源更小
Filebeat可以运行在非Java环境他可以代理logstash在非Java环境上收集日志
Filebeat无法实现数据的过滤一般是结合logstash的数据过滤功能一块使用
Filebeat收集的数据可以发往多个主机远程收集 核心图 本地采集 实验环境
在elk的基础上新加一台虚拟机安装filebeat
安装filebeat 修改默认路径 做时间同步
yum install ntpdate -y
ntpdate ntp.aliyun.com 安装Nginx和httpd 验证 如何直接收集nginx日志 配置filebeat 路径 注释elasticsearch outputs 取消注释打开logsttash output 创建目录 写一个脚本 为了实验效果添加一个标准输出 开始收集发送 Nohup表示在后台记录执行命令的过程
./filebeat运行文件
-e使用标准输出的同时进行syslog文件输出
-c指定配置文件
执行过程输出到filebeat.out这个文件当中。表示后台运行 查看是否报错successful表示成功 开启logstash收集接收 访问测试多刷几遍以防收集不到404也多刷几遍访问呢错误日志以便观察 Logstash收集日志的过程
Input从哪里收集
Filebeat过滤
Output发送ES实例 远程收集远程收集多个日志
打开数据库的日志功能 表中插入一些数据便于实验效果查看 安装一个nginx和一个http 添加一些访问内容访问测试 开始收集日志准备 多余的注释信息全部删掉
Nginx模块 filebeat.inputs: - type: log enabled: true paths: - /var/log/nginx/access.log - /var/log/nginx/error.log tags: [nginx_54] fields: service_name: 20.0.0.54_nginx log_type: nginx from: 20.0.0.54 http模块 - type: log enabled: true paths: - /etc/httpd/logs/access_log - /etc/httpd/logs/error_log tags: [httpd_54] fields: service_name: 20.0.0.54_httpd log_type: httpd from: 20.0.0.54 Mysql模块 - type: log enabled: true paths: - /usr/local/mysql/data/mysql_general.log tags: [mysql_54] fields: service_name: 20.0.0.54_mysqld log_type: mysql from: 20.0.0.54 注意把这个三个的tags改一下tags做一下区分 总览图
格式要对齐要一模一样一个符号都不能差 取消注释 回到elk收日志便于查看是否命中可以加上方框那一行可以不加 input { beats { port 5045 } } output { if nginx_54 in [tags] { elasticsearch { hosts [20.0.0.52:9200,20.0.0.53:9200] index %{[fields][service_name]}-%{YYYY.MM.dd} } } if httpd_54 in [tags] { elasticsearch { hosts [20.0.0.52:9200,20.0.0.53:9200] index %{[fields][service_name]}-%{YYYY.MM.dd} } } if mysql_54 in [tags] { elasticsearch { hosts [20.0.0.52:9200,20.0.0.53:9200] index %{[fields][service_name]}-%{YYYY.MM.dd} } } stdout { codec rubydebug }
} 启动后台运行开始传送
nohup ./filebeat -e -c filebeat.yml filebeat.out 打开filebeat日志便于观察 Logstash启动运行收集日志
logstash -f nginx_54.conf --path.data /opt/test12 涉及改端口问题
Logstash可以使用任意端口只要没被在占用都可以使用推荐从1024之后开始使用
5044
5045
5046
改端口 ES查看 如何对logstash性能上的优化小优化
Logstash启动是在Jam虚拟机当中启动启动一次至少要占500M内存 Pipeline.workers:2
Logstash的工作线程默认就是CPU数4 2 8 4给一半即可2核2个 一次性可以处理检索事件的大小125条数200 查询更新的延时50毫秒也可以自行调整生产中一般都是15 10毫秒
