网站建设的技术准备,关键词网站建设公司,网站整站优化方案,微信营销平台哪个好介绍
一、什么是日志数据采集
日志数据采集是指通过各种手段获取应用程序运行时产生的各类日志信息#xff0c;并将这些信息存储到特定的地方#xff0c;以便后续分析和使用。通常情况下#xff0c;这些日志信息包括系统运行状态、错误信息、用户操作记录等等。通过对这些…介绍
一、什么是日志数据采集
日志数据采集是指通过各种手段获取应用程序运行时产生的各类日志信息并将这些信息存储到特定的地方以便后续分析和使用。通常情况下这些日志信息包括系统运行状态、错误信息、用户操作记录等等。通过对这些信息的统计和分析可以有效地监控应用程序的运行状况及时发现和解决问题。
二、为什么需要进行日志数据采集
对于企业应用系统而言日志数据采集至关重要。首先在应用程序出现问题时通过查看相关日志信息可以快速定位原因并进行相应处理。其次在系统运行期间通过对日志信息的统计和分析可以发现系统存在的潜在问题进而进行优化和改进。此外对于一些业务场景如在线广告、电商等日志数据采集更是必不可少它可以帮助企业更好地了解用户行为、偏好等信息从而提升营销效果和用户体验。
三、常见的日志采集方案 方案介绍
• Promtail 是日志收集器负责收集应用的日志并发送给 Loki。 • Loki 用于日志的存储和解析并提供查询 API 给下游展示。 • Grafana 负责将 Loki 的日志可视化
Grafana搭建
之前写过见文章PrometheusGrafana搭建
Loki安装
下载
https://github.com/grafana/loki/releases
#规划安装在/usr/local下面数据放在/data下
#以root账号在/usr/local创建文件夹loki并将安装包放置在此目录下
mkdir loki
#新建存储路径数据放在/data下
mkdir /data
mkdir /data/loki
mkdir /data/loki/{chunks,index}
#将安装包loki-linux-amd64.zip移动到/usr/local下解压
unzip loki-linux-amd64.zip
#解压后重新生成文件夹loki-linux-amd64 将文件移动到loki目录下
mv loki-linux-amd64 /usr/local/loki/在/usr/local/loki目录下修改配置如没有则新增 vi config.yaml
#在编辑页面可以插入下述脚本可自行调整部分配置
auth_enabled: false
server:http_listen_port: 3100
ingester:lifecycler:address: xx.xx.xx.xx #ip地址ring:kvstore:store: inmemoryreplication_factor: 1final_sleep: 0schunk_idle_period: 5mchunk_retain_period: 30sschema_config:configs:- from: 2022-07-01store: boltdbobject_store: filesystemschema: v11index:prefix: index_period: 168h #每张表的时间范围7天storage_config:boltdb:directory: /data/loki/index #索引文件存储地址filesystem:directory: /data/loki/chunks #块存储地址limits_config:enforce_metric_name: falsereject_old_samples: truereject_old_samples_max_age: 168h
chunk_store_config:
#最大可查询历史日期 28天,这个时间必须是schema_config中的period的倍数否则报错。max_look_back_period: 672h
#表的保留期28天
table_manager:retention_deletes_enabled: trueretention_period: 672h#启动服务 nohup ./loki-linux-amd64 -config.file./config.yaml ./loki.log 21 #设置开机自启动 cd /etc/systemd/system/ vi loki.service
#可复制下述页面调整文件路径即可
[Unit]
Descriptionloki
Afternetwork.target [Service]
ExecStart/usr/local/loki/loki-linux-amd64 \-config.file/usr/local/loki/config.yaml /usr/local/loki/loki.log
Restarton-failure[Install]
WantedBymulti-user.target设置自启动
systemctl daemon-reload
启动服务
systemctl start loki #systemctl stop loki systemctl restart loki
查看启动结果
systemctl status loki
加入开机自启动
systemctl enable loki
部署promtail
需要到日志采集端部署
下载
wget https://github.com/grafana/loki/releases/download/v2.8.0/promtail-linux-amd64.zip
#规划安装在/usr/local下面
#以root账号在/usr/local创建文件夹promtail并将安装包放置在此目录下
mkdir promtail
#将安装包promtail-linux-amd64.zip移动到/usr/local下解压
unzip promtail-linux-amd64.zip
#解压后重新生成文件夹promtail-linux-amd64 将文件移动到promtail目录下
mv promtail-linux-amd64 /usr/local/promtail/在/usr/local/promtail目录下修改配置如没有则新增 vi promtail.yaml
#在编辑页面可以插入下述脚本可自行调整部分配置
server:http_listen_port: 9080grpc_listen_port: 0positions:filename: ./positions.yamlclients:- url: http://xx.xx.xx.xx:3100/loki/api/v1/push #loki地址,xx是ip地址scrape_configs:
##jobname- job_name: centername #jobnamestatic_configs:- targets: - xx.xx.xx.xx #xx是ip地址- labels:job: centername #jobnamehost: xx.xx.xx.xx #xx是ip地址__path__: /home/script/log/*.log #监控的日志地址你们根据具体情况选择自己的路径Promtail默认端口是9080启动完成后可以采用上边的方式查看进程是否启动成功
nohup ./promtail-linux-amd64 -config.filepromtail-local-config.yaml promtail.log 21 同样按照上面loki自启动的写法也可以加入自启动中去
Grafana展示
模版导入
配置Loki数据源导入监控模版 13639
