有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。

我的k8s-fluentd的相关文章

k8s~部署EFK框架
k8s~为服务添加sidecar边斗
k8s~fluentd的configmap设置es索引前缀
ELK~fluentd多行日志的收集

使用docker的镜像

lypgcs/fluentd-es-kafka:v1.3.2

fluent.conf配置

可以添加configMap，扩展性更好，下面说一下配置的含义
名称是fluentd-config，内部文件名是fluent.conf

  • brokers 这是kafka的地址
  • consumer_group 消费组名称
  • format json 表示kafka里存储的是json格式
  • start_from_beginning true表示从头消费，false从最新的消息
  • topics 表示监控的主题，多个之间用逗号分开
  • tag 表示索引名称
  • flush_interval 刷新频率
  • logstash_format index是否使用logstash命名方式（logstash-%Y.%m.%d），默认不启用
  • logstash_prefix：logstash_format启用的时候，index命名前缀是什么。默认为logstash
  • include_tag_key true #把tag当做字段写入ES,如果需要自定义tag时，可以添加这项
  • tag_key @log_name
<source>
@type kafka_group
brokers test11:9092
consumer_group fluentd-k8s
format json
topics KC_AUTHORIZATION_POLICY,KC_AUTHORIZATION_POLICY_CREATE,KC_AUTHORIZATION_POLICY_DELETE,KC_AUTHORIZATION_POLICY_UPDATE,KC_AUTHORIZATION_RESOURCE_CREATE,KC_AUTHORIZATION_RESOURCE_DELETE,KC_CLIENT_LOGIN,KC_CLIENT_ROLE_MAPPING_CREATE,KC_CLIENT_ROLE_MAPPING_DELETE,KC_GROUP_CREATE,KC_GROUP_DELETE,KC_GROUP_MEMBERSHIP_CREATE,KC_LOGIN_ERROR,KC_LOGOUT,KC_REALM_ROLE_CREATE,KC_REALM_ROLE_MAPPING_CREATE,KC_REALM_ROLE_MAPPING_DELETE,KC_USER_ACTION,KC_USER_CREATE,KC_USER_DELETE,KC_USER_INFO_REQUEST,KC_USER_UPDATE,KC_CODE_TO_TOKEN_ERROR,KC_LOGIN
</source>

<match *>
@type elasticsearch
host 192.168.60.10
port 9200
logstash_format true
flush_interval 10s
logstash_prefix fluentd-log
</match>

k8s编排

apiVersion: apps/v1
kind: Deployment
metadata:
  name: fluentd-log-deployment
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: fluentd-log
  template:
    metadata:
      labels:
        app: fluentd-log
    spec:
      hostAliases:
        - ip: "192.168.10.11"
          hostnames: ["test11"]
      containers:
        - name: fluentd-log-controller
          image: lypgcs/fluentd-es-kafka:v1.3.2
          volumeMounts:
            - name: config-volume
              mountPath: /etc/fluent
      volumes:
        - name: config-volume
          configMap:
            name: kafka-fluentd
  #滚动升级策略
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0

基于fluentd风格的按日期为索引的命名

最后在kibana里的格式化后的数据

内容来源于网络如有侵权请私信删除

文章来源: 博客园

原文链接: https://www.cnblogs.com/lori/p/17071713.html

标签： AI 人工智能
你还没有登录，请先登录或注册！
  • 还没有人评论，欢迎说说您的想法！

相关课程

人工智能入门
5307 9.8元 98元 1折
六天机器学习入门
4217 98元