Kubernetes-20：日志聚合分析系统—Loki的搭建与使用

发布时间：2020-12-14 15:16:24 所属栏目：百科来源：网络整理

导读：? 日志聚合分析系统 ——Loki ? 什么是 Loki？ Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签，专门为 Prome

日志聚合分析系统——Loki

什么是Loki？

Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签，专门为 Prometheus 和 Kubernetes 用户做了相关优化。

与传统日志收集系统(例ELK)相比，Loki的优势有哪些？

?不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据，Loki操作起来会更简单，更省成本
?通过与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高
?特别适合存储 Kubernetes Pod 日志；诸如 Pod 标签之类的元数据会被自动删除和编入索引
?受 Grafana 原生支持，与 Prometheus 配合更加方便

解决痛点？

?无需再去其他界面，或者终端上查看单个Pod的日志

整体架构

Loki的架构并不难，主要是以下三部分组成：

?Loki 为主服务器。负责存储日志和处理查询
?Promtail 是代理。负责收集日志并将其发送给Loki
?Grafana 用来UI展示。

Loki 使用与 Prometheus 相同的服务发现和标签重新标记库，编写了 Promtail。在 Kubernetes 中 Promtail 以 DaemonSet 方式运行在每个节点中，通过 Kubernetes API 得到日志的正确元数据，并将它们发送到Loki，如下图：

?可以看到，Loki中主要的组件有Distributor、Ingester和Querier三个。

负责写入的组件有Distributor和Ingester两个：

Distributor

Promtaif 一旦将日志发送给Loki，Distributor 就是第一个接收日志的组件。由于日志的写入量可能很大，所以不能在它们传入时并行写入数据库，要先进行批处理和压缩数据。

Distributor 接收到 HTTP 请求，用于存储流数据
?通过 hash 环对数据流进行 hash
?通过hash算法计算出应该发送到哪个Ingester后，发送数据流
?Ingester新建Chunks或将数据追加到已有的Chunk上

Ingester

Ingester 接收到日志并开始构建 Chunk：

Ingester 是一个有状态组件，负责构建和刷新Chunk，当Chunk达到一定数量或者时间后，刷新到存储中去，每一个流日志对应一个Ingester。index和Chunk各自使用单独的数据库，因为他们存储额数据类型不同。

负责读的组件则是Querier：

读取就比较简单，由 Querier 负责给定一个时间范围和标签选择器，也就是收到读请求：

?Querier 收到HTTP读请求
?Querier 将请求发送至Ingester读取还未写入Chunks的内存数据
?随后再去index+chunks中查找数据
?Querier 遍历所有数据并进行去重处理，再返回最终结果

搭建使用

上边主要介绍的Loki的工作流程及组件，下面我们实际搭建操作下：

Loki项目地址：https://github.com/grafana/loki/

????????????????官网：https://grafana.com/oss/loki/

一、通过Helm部署：

## 添加chart
helm repo add loki https://grafana.github.io/loki/charts

## 更新chart
helm repo update 

## 将loki template下载到本地
helm fetch loki/loki-stack

## 解压并自定义修改参数
tar zxvf loki-stack-2.0.2.tgz
cd loki-stack/ $$ ls
charts  Chart.yaml  README.md  requirements.lock  requirements.yaml  templates  values.yaml

cd charts/ $$ 
filebeat  fluent-bit  grafana  logstash  loki  prometheus  promtail

开始helm安装前要注意几个点：

1、可以修改values.yaml文件，指定是否开启Grafana、Prometheus等服务，默认不开启的：

loki:
  enabled: true

promtail:
  enabled: 

fluent-bit:
  enabled: false

grafana:
  enabled: 
  sidecar:
    datasources:
      enabled: 
  image:
    tag: 6.7.0

prometheus:
  enabled: false

在此只开启Grafana

修改Grafana的values.yaml，使其Service暴露方式为NodePort(默认为ClusterIp)：

vim charts/grafana/values.yaml

service:
  type: NodePort
  port: 80
  nodePort: 30002  # 端口范围：30000-32767
  targetPort: 3000
    # targetPort: 4181 To be used with a proxy extraContainer
  annotations: {}
  labels: {}
  portName: service

还有一处账号密码可以自定义修改下：

# Administrator credentials when not using an existing secret (see below)
adminUser: admin
adminPassword: admin

2、promtail服务在构建时会自动挂载：

?宿主机docker主目录下的containers目录，一般默认都为/var/lib/docker/containers
?pod的日志目录，一般默认为/var/log/pods

这就需要特别注意一下，如果是修改过docker默认的存储路径的，需要将mount的路径进行修改，promtail找不到对应的容器日志

具体docker 存储路径，可以使用docker info 命令查询

vim charts/promtail/values.yaml

volumes:
- name: docker
  hostPath:
    path: /data/lib/docker/containers  ## 我的是放在了data下
- name: pods
  hostPath:
    path: /var/log/pods

volumeMounts:
- name: docker
  mountPath: /data/lib/docker/containers  ## 挂载点也要进行修改
  readOnly: true
- name: pods
  mountPath: /var/log/pods
  readOnly: true

开始安装：

helm install -n loki --namespace loki -f values.yaml ../loki-stack
2020/11/11 17:18:54 Warning: Merging destination map for chart 'logstash'. The destination item filters' is a table and ignoring the source ' as it has a non-table value of: <nil>
NAME:   loki
LAST DEPLOYED: Wed Nov 53 2020
NAMESPACE: loki
STATUS: DEPLOYED

RESOURCES:
==> v1/ClusterRole
NAME                       AGE
loki-promtail-clusterrole  1s
loki-grafana-clusterrole   1s

==> v1/ClusterRoleBinding
NAME                              AGE
loki-promtail-clusterrolebinding  1s
loki-grafana-clusterrolebinding   1s

==> v1/ConfigMap
NAME                  DATA  AGE
loki-grafana          1     1s
loki-grafana-test          1s
loki-loki-stack            1s
loki-loki-stack-test       1s
loki-promtail              1s

==> v1/DaemonSet
NAME           DESIRED  CURRENT  READY  UP-TO-DATE  AVAILABLE  NODE SELECTOR  AGE
loki-promtail  2        0      2           0          <none>         1s

==> v1/Deployment
NAME          READY  UP-TO-DATE  AVAILABLE  AGE
loki-grafana  0/1    1                     1s

==> v1/Pod(related)
NAME                         READY  STATUS             RESTARTS  AGE
loki-0                       1    ContainerCreating           2s
loki-grafana-56bf5d8d-8zcgp  1    Init:         2s
loki-promtail-6r24r                   2s
loki-promtail-fvnfc                   2s

==> v1/Role
NAME               AGE
loki-promtail      1s
loki-grafana-test  1s
loki               1s

==> v1/RoleBinding
NAME               AGE
loki-Secret
NAME          TYPE    DATA  AGE
loki          Opaque       1s
loki-grafana  Opaque  3Service
NAME           TYPE       CLUSTER-IP      EXTERNAL-IP  PORT(S)       AGE
loki           ClusterIP  10.109.216.219  <none>       3100/TCP      1s
loki-grafana   NodePort   10.100.203.138  <none>       80:30002/TCP  1s
loki-headless  ClusterIP  None            <none>       TCP      1s

==> v1/ServiceAccount
NAME               SECRETS  AGE
loki                       1s
loki-grafana               1s
loki-grafana-test          1s
loki-promtail              1s

==> v1/StatefulSet
NAME  READY  AGE
loki      1s

==> v1beta1/PodSecurityPolicy
NAME               PRIV   CAPS      SELINUX           RUNASUSER  FSGROUP    SUPGROUP  READONLYROOTFS  VOLUMES
loki               false  RunAsAny  MustRunAsNonRoot  MustRunAs  MustRunAs        configMap,emptyDir,persistentVolumeClaim,secret,projected,downwardAPI
loki-grafana       false  RunAsAny  RunAsAny          RunAsAny   RunAsAny        configMap,downwardAPI,persistentVolumeClaim
loki-grafana-test        secret,configMap,hostPath,emptyDir

==> v1beta1/Role
NAME          AGE
loki-grafana  1s

==> v1beta1/RoleBinding
NAME          AGE
loki-grafana  1s

创建完成后，通过暴露的svc访问Grafana：

[root@Centos8 loki-stack]# kubectl get svc -n loki 
NAME            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
loki            ClusterIP   216.219   <none>        TCP       113s
loki-grafana    NodePort    203.138   <none>        TCP   113s
loki-headless   ClusterIP   None             <none>        3100/TCP       113s

二、开始使用Loki

通过服务器ip+30002访问，登录成功后，有一点需要注意的地方，也是非常容易踩坑的地方！！！

如果是安装Loki时采用的以上方法，开启了Grafana，那系统会自动配置好Data sources，应该不会有什么问题。

但是，如果是手动搭建的Grafana，需要手动添加Data Sources时，一定注意：

数据源名称中的Loki，L一定要是大写！！！

如果不是大写，会导致连接不到Loki源，一般回报错：Error connecting to datasource: Loki: Bad Gateway. 502