logstash对接kafka:

• 模拟logstash作为kafka的生产者

1.启动kafka消费者

kafka-console-consumer.sh --bootstrap-server  192.168.1.250:9092 --topic test2

这里的ip 地址 一定要注意， 如果你 kafka 配置的 localhost ,那么必须是locaohost ，用ip 是行不通的。
2.启动logstash 生产数据

cd /etc/logstash/conf.d

cat logstashtokafka.conf

input {
   stdin {}
}
output {
  kafka {
    bootstrap_servers => "192.l68.1.250:9092"
    topic_id => "test2"
  }
}

我们从终端输入 数据，然后 会发送到 kafka 消费者接受
启动 logstash 接受 终端信息：

logstash -f  /etc/logstash/conf.d/logstashtokafka.conf

• 模拟logstash作为消费者

1.启动生产者
[root@elk111 ~]# kafka-console-producer.sh --bootstrap-server 10.0.0.111:9092 --topic dashu86-jiaoshi02
>HAHAHAHA
>XIXIXIXI
>
2.启动logstash实例
[root@elk112 ~]# cat config/02-kafka-to-stdout.conf
input {
kafka {
topics => ["dashu86-jiaoshi02"]
bootstrap_servers => "10.0.0.112:9092,10.0.0.111:9092"
auto_offset_reset => "earliest"
group_id => "test02"
}
}
output {
stdout {}
}
[root@elk112 ~]#
[root@elk112 ~]# logstash -rf config/02-kafka-to-stdout.conf