51工具盒子linux 安装 es 组件 logstash
需要JDK的环境：https://www.baimeidashu.com/9760.html
1.下载logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.5-x86_64.rpm
2.安装logstash并创建符号链接2 .
rpm -ivh logstash-7.17.5-x86_64.rpm
ln -sv /usr/share/logstash/bin/logstash /usr/local/sbin/
备注： -s 是创建软连接， -v 是 输出过程
3.基于命令行运行logstash的配置参数，并指定日志级别
logstash -e "input { stdin { type => stdin } } output { stdout { codec => rubydebug } }" --log.level warn
4.编写配置文件并检查语法
[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat test.conf
input{
stdin{
type => stdin
}
}
output{
stdout{
codec => rubydebug
}
}
基于文件启动logstash：
logstash -f /etc/logstash/conf.d/test.conf --log.level fatal
这样 logstash 就安装成功了。
其他 收集日志：
2.使用logstash采集nginx日志并到标准输出
[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat nginxlog.conf
input{
file{
path => ["/var/log/nginx/*.log"]
type => stdin
}
}
output{
stdout{
codec => rubydebug
}
}
-
输出指定 es 的 配置文件：
[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat es.conf input{ file{ id => "nginx-001" path => ["/var/log/nginx/*.log"] #type => stdin } }
output{ elasticsearch { # 指定ES的主机地址 hosts => ["10.0.0.111:19200","10.0.0.112:19200","10.0.0.113:19200"] # 自定义写入数据的索引,时间变量参考: # https://www.joda.org/joda-time/apidocs/org/joda/time/format/DateTimeFormat.html index => "baimei-nginx-%{+yyyy.MM.dd}" # index => "baimei-linux86-nginx-%{+yyyy.MM.dd}.year-week-%{+ee}.week-day-%{+w}" }
}
启动logstash
logstash -rf /etc/logstash/conf.d/es.conf
es ， 然后 给 nginx 日志添加数据
我们在kibana 中可以看到 索引了：
lodstash 读文件后 默认的记录路径：
这个路径默认是 放在这里，
/usr/share/logstash/data/plugins/inputs/file/
如果你启动logstash 的时候 加数据目录就不一样了。
logstash -rf /etc/logstash/conf.d/2nginx-filter-es.conf --path.data /tmp/11
vim .sincedb_df5ae0d18161177fc305494571a52fca
其他配置：
/etc/logstash/jvm.options
堆内存
