如何配置logstash的持久队列?

Elastic Stack

1 前言

一个问题,一篇文章,一出故事。
昨天15:37:37~15:46:28运行于Microsoft Azure云上的Elasticsearch集群生产环境所有服务器因为某些原因出现集体宕机现象,直至我们完成集群硬件的重启操作才得以回复集群,宕机的根本原因Microsoft Azure VM团队还在分析。在Elasticsearch日志服务中断大致约10分钟期间,宕机造成部分日志丢失,因此我们尝试启用logstash日志持久配置防止日志丢失。

2 最佳实践

2.1 环境信息

如何部署带安全认证的Elasticsearch 8.x集群?

2.2 应用持久化配置

2.2.1 增加持久化参数

vim /etc/logstash/logstash.yml

加入如下配置,

queue.type: persisted

2.3 重启服务使配置生效

systemctl restart logstash
systemctl status logstash

参阅文档
========================
https://www.elastic.co/guide/en/logstash/current/persistent-queues.html

没有评论

发表回复

Elastic Stack
如何重启Elasticsearch集群的节点?

1 前言 一个问题,一篇文章,一出故事。 由于笔者需要对Elasticsearch的机器进行硬件升级 …

Elastic Stack
如何查看logstash的插件?

1 前言 一个问题,一篇文章,一出故事。 笔者由于需要检查Logstash的插件,于是整理此章节。 …

Elastic Stack
如何部署与交换机集成的Logstash?

1 基础知识 一个问题,一篇文章,一出故事。 笔者最近需要配置接收交换机日志的Logstash管道, …