如何安装Kafka connect mqtt?

Apache-Hadoop

1 前言

一个问题,一篇文章,一出故事。
我们配置好Kafka connect集群后,我们来尝试安装一个“Kafka connect mqtt”插件,于是产生本文。

2 最佳实践

2.1 准备环境

2.1.1 准备Kafka connect集群环境

以下准备Kafka connect集群环境,

如何配置Kafka connect集群?

2.1.2 准备Maven环境

以下环境安装部署Maven和配置源,

如何二进制部署maven?

2.2 编译插件

In hd[19-21],

2.2.1 下载插件包

cd ~
wget https://codeload.github.com/johanvandevenne/kafka-connect-mqtt/zip/refs/heads/master -O kafka-connect-mqtt-master.zip

2.2.2 解压插件包

cd ~
unzip kafka-connect-mqtt-master.zip

2.2.3 先清理后编译安装插件

cd ~/kafka-connect-mqtt-master
mvn clean install

2.2.4 部署编译安装后的插件

mkdir -p /usr/share/java/kafka
cp -a ~/kafka-connect-mqtt-master/target/kafka-connect-mqtt-1.1.0-package/kafka-connect-mqtt/ /usr/share/java/kafka/

2.2.5 重启服务使配置生效

systemctl restart kafka-connect.service

2.2.6 确认插件加载

curl -s http://hd19.cmdschool.org:8083/connector-plugins | json_reformat
curl -s http://hd20.cmdschool.org:8083/connector-plugins | json_reformat
curl -s http://hd21.cmdschool.org:8083/connector-plugins | json_reformat

可见如下提示,

[
    {
        "class": "be.jovacon.kafka.connect.MQTTSinkConnector",
        "type": "sink",
        "version": "1.1.0"
    },
    {
        "class": "be.jovacon.kafka.connect.MQTTSourceConnector",
        "type": "source",
        "version": "1.1.0"
    },
    #...
]

参阅文档
=====================

https://github.com/johanvandevenne/kafka-connect-mqtt

没有评论

发表评论

Apache-Hadoop
如何配置Kafka connect集群?

1 基础知识 1.1 Kafka Connect的介绍 – Kafak Connect是 …

Apache-Hadoop
如何二进制部署CMAK?

1 基础知识 1.1 CMAK 1.1.1 CMAK的介绍 – CMAK原称Kafka …

Apache-Hadoop
如何配置独立的Kafka集群?

1 基础知识 1.1 事件流 1.1.1 事件流的概念 – 数据流指的是用于传输信息的数 …