51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

logstash对接kafka (待完善)

logstash对接kafka:

  • 模拟logstash作为kafka的生产者


1.启动kafka消费者

kafka-console-consumer.sh --bootstrap-server  192.168.1.250:9092 --topic test2

这里的ip 地址 一定要注意, 如果你 kafka 配置的 localhost ,那么必须是locaohost ,用ip 是行不通的。
2.启动logstash 生产数据

cd /etc/logstash/conf.d

cat logstashtokafka.conf

input {
   stdin {}
}
output {
  kafka {
    bootstrap_servers => "192.l68.1.250:9092"
    topic_id => "test2"
  }
}

我们从终端输入 数据,然后 会发送到 kafka 消费者接受
启动 logstash 接受 终端信息:

logstash -f  /etc/logstash/conf.d/logstashtokafka.conf


  • 模拟logstash作为消费者

1.启动生产者
[root@elk111 ~]# kafka-console-producer.sh --bootstrap-server 10.0.0.111:9092 --topic dashu86-jiaoshi02
>HAHAHAHA
>XIXIXIXI
>
2.启动logstash实例
[root@elk112 ~]# cat config/02-kafka-to-stdout.conf
input {
kafka {
topics => ["dashu86-jiaoshi02"]
bootstrap_servers => "10.0.0.112:9092,10.0.0.111:9092"
auto_offset_reset => "earliest"
group_id => "test02"
}
}
output {
stdout {}
}
[root@elk112 ~]#
[root@elk112 ~]# logstash -rf config/02-kafka-to-stdout.conf

赞(2)
未经允许不得转载:工具盒子 » logstash对接kafka (待完善)