频道栏目
首页 > 网络 > 其他 > 正文

世界杯投注官网

2018-12-27 15:19:24           
收藏   我要投稿

名字head - 输出文件的起始部分

摘要head [选项]...[文件]....描述输出打印每个文件的前10行。多个文件,需要给出每个文件的文件名,若没有文件,或文件名为 “-” ,则转换为标准输入。

    长短命令选项的含义

在之前的搭建elk环境中,日志的处理流程为:filebeat --> logstash --> elasticsearch,随着业务量的增长,需要对架构做进一步的扩展,引入kafka集群。日志的处理流程变为:filebeat --> kafka --> logstash --> elasticsearch。

架构图如下所示:

image.png

安装步骤跳过,不会的自行查阅文档

这得着重讲解如何将rabbitmq的日志如何添加到ES里,kibana将数据展现出来

首先到rabbitmq服务器,确认rabbitmq的日志位置,/var/log/rabbitmq

更改filebeat配置文件

- type: log

enabled: true

paths:

- /var/log/rabbitmq/rabbit*.log

fields:

log_topic: rabbitmq-log

如果有多个topic就多复制一段,将topic改成自己的

 

世界杯投注官网------------------------------ Kafka output ---------------------------------

output.kafka:

enabled: true

hosts: ["10.11.10.9:9092", "10.11.10.70:9092", "10.11.10.1:9092"]

世界杯投注官网topic: userinfo

topics:

- topic: "rabbitmq-log"

when.regexp:

fields.log_topic: "rabbitmq-log"

如果有多个topic就多复制一段,将topic改成自己的

partition.round_robin:

reachable_only: false

compression: gzip

max_message_bytes: 1000000

required_acks: 1

此时filebeat就配置好了

登陆到logstash服务器,编辑logstash文件

input {

kafka {

bootstrap_servers => "10.11.10.9:9092","10.11.10.70:9092","10.11.10.1:9092"

group_id => "rabbitmq-log"

topics => ["rabbitmq-log"]

codec => "plain"

type => "info"

}

filter {

if ([message]== "")

{

drop {}

}

 

}

output {

if [fields][log_topic] == "rabbitmq-log" {

elasticsearch {

hosts => ["10.11.10.9:9092","10.11.10.70:9092","10.11.10.1:9092"]

index => "secure-log-%{+YYYY.MM.dd}"

 

}

stdout{

codec => rebydebug

}

}

}

重启logstash

nohup /usr/share/logstash/bin/logstash -f /etc/logstash2/conf.d/logstash.conf >> /var/log/logstash2-stdout.log 2>>/var/log/logstash2-stderr.log &

打开浏览器,登陆kibana

image.png添加刚才创建的topic

image.png

返回到discover,就可以看到数据了

image.png

-c,--bytes=[ - ]K 输出每个文件前k字节的内容,当字节为 ‘- K’,则输出K字节之后的所有内容。 -n,--lines=[ - ] K 输出每个文件的前K行内容,当行数为 ‘- K’ ,则输出K行之后的所有内容。 -q,--quiet,--silent 连续输出每个文件的前10行,不提示文件名 -v,--verbose 连续输出每个文件的前10行,提示文件名:默认参数 --help 显示简要的head帮助信息,并结束 --version 输出版本信息,并结束

作者由 david mackenzie 和 jim meyering 创作

上一篇:web服务器的配置
下一篇:MySQL主从复制
相关文章
图文推荐

关于我们 | 联系我们 | 服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑--致力于做实用的IT技术学习网站