如何配置logstash的持久队列?

Elastic Stack

1 前言

一个问题,一篇文章,一出故事。
昨天15:37:37~15:46:28运行于Microsoft Azure云上的Elasticsearch集群生产环境所有服务器因为某些原因出现集体宕机现象,直至我们完成集群硬件的重启操作才得以回复集群,宕机的根本原因Microsoft Azure VM团队还在分析。在Elasticsearch日志服务中断大致约10分钟期间,宕机造成部分日志丢失,因此我们尝试启用logstash日志持久配置防止日志丢失。

2 最佳实践

2.1 环境信息

如何部署带安全认证的Elasticsearch 8.x集群?

2.2 应用持久化配置

2.2.1 增加持久化参数

vim /etc/logstash/logstash.yml

加入如下配置,

queue.type: persisted

2.3 重启服务使配置生效

systemctl restart logstash
systemctl status logstash

参阅文档
========================
https://www.elastic.co/guide/en/logstash/current/persistent-queues.html

没有评论

发表回复

Elastic Stack
如何缩减Elasticsearch索引分片?

1 前言 一个问题,一篇文章,一出故事。 笔者集群有5个节点,每个节点总体磁盘空间是4.5T。当前每 …

Elastic Stack
如何设置Elasticsearch索引为只读?

1 前言 一个问题,一篇文章,一出故事。 基于集群性能的需求,笔者想通过将旧索切换到温暖阶段,设置为 …

Elastic Stack
如何设置Filebeat上传Keycloak的Java类型日志?

1 前言 一个问题,一篇文章,一出故事。 今天遇到需要设置Filebeat上传Java类型的日志,于 …