V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
mikulch
V2EX  ›  问与答

弱弱的请教一个 Loki 的配置问题

  •  
  •   mikulch · 2020-10-14 15:48:02 +08:00 · 856 次点击
    这是一个创建于 374 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在有 2 个节点,每个节点上一个日志。节点 1 上装了 promtail 目前可以正常搜集到日志,但是节点 2 上装的 promtail 按照同样的配置,却无法搜集到日志传到 loki (loki 在第三个节点) 。

    在搜集的顺序上,我是先安装的节点 1 的 promtail,然后搜集成功后,再安装的节点 2 的 promtail 。都是直接二进制安装,不是 docker 和 k8s 。

    有大佬遇到过类似问题没? 日志方面的话,节点 2 上的 promtail 就一直卡在

    level=info ts=2020-10-14T07:31:30.698676564Z caller=server.go:194 http=[::]:9080 grpc=[::]:44839 msg="server listening on addresses"
    level=info ts=2020-10-14T07:31:30.69879396Z caller=main.go:108 msg="Starting Promtail" version="(version=1.6.0, branch=HEAD, revision=6e3e2fa3)"
    level=info ts=2020-10-14T07:31:35.698753496Z caller=filetargetmanager.go:285 msg="Adding target" key="{app=\"paycenter\", env=\"prod\", host=\"182.92.191.157\"}"
    

    节点 1 配置文件

    server:
      http_listen_port: 9080
      grpc_listen_port: 0
    
    positions:
      filename: /tmp/positions.yaml
    
    clients:
      - url: http://47.xx.xxx.237:3100/loki/api/v1/push
    
    scrape_configs:
    - job_name: prod-signup
      static_configs:
      - targets:
          - localhost
        labels:
          app: signup
          host: 153.92.xxx.xxx
          env: prod
          __path__: /data/xxx/logs/signup.log
    
    

    节点 2 配置文件

    server:
      http_listen_port: 9080
      grpc_listen_port: 0
    
    positions:
      filename: /tmp/positions.yaml
    
    clients:
      - url: http://47.xx.xxx.237:3100/loki/api/v1/push
    
    scrape_configs:
    - job_name: prod-paycenter
      static_configs:
      - targets:
          - localhost
        labels:
          app: paycenter
          host: 182.92.xxx.xxx
          env: prod
          __path__: /data/xxx/logs/paycetner.log
    
    

    这里,后面的日志就都没有了。正常节点的 promtail 下面还会有跟一个 msg="start tailing file" 的日志来显示。

    感谢各位大佬帮忙!

    13 条回复    2021-08-16 13:51:57 +08:00
    rockxsj
        1
    rockxsj   2020-10-14 16:34:43 +08:00
    建议换 fluent-bit 更轻量,日志也更详细
    mikulch
        2
    mikulch   2020-10-14 16:36:23 +08:00 via iPhone
    @rockxsj 刚折腾了两天,好不容易要弄好了又换太痛苦了……
    echo1937
        3
    echo1937   2020-10-14 16:54:52 +08:00
    我以为是 EVE 的 T3C 呢。
    mikulch
        4
    mikulch   2020-10-14 17:29:19 +08:00 via iPhone
    @echo1937 哈哈哈。
    mikulch
        5
    mikulch   2020-10-14 20:14:58 +08:00 via iPhone
    感觉坑了。
    mikulch
        6
    mikulch   2020-10-15 10:35:57 +08:00
    这个问题已经解决了。
    FenixVu
        7
    FenixVu   68 天前
    你到是说说咋解决的啊
    mikulch
        8
    mikulch   68 天前
    @FenixVu 你也遇到这个问题了?
    FenixVu
        9
    FenixVu   68 天前
    @FenixVu 恩有点类是我是一个 promtail 下配置了两个日志路径但是只能采集到第一个
    ```
    scrape_configs:
    - job_name: system
    pipeline_stages:
    - regex:
    expression: '^(?P<timestamp>\d{4}-\d{2}-\d{2}\S\d{2}:\d{2}:\d{2}.\d+\+\d{2}:\d{2}).*'
    - timestamp:
    source: timestamp
    format: RFC3339Nano
    action_on_failure: skip
    static_configs:
    - targets:
    - localhost
    labels:
    job: 59.110/mysql
    __path__: /var/log/960c6986c8b14cb3d38a188962bfa75b251e07df56f486629acecdb53e2f6046/*.log

    - job_name: test
    pipeline_stages:
    - regex:
    expression: '^(?P<timestamp>\d{4}-\d{2}-\d{2}\S\d{2}:\d{2}:\d{2}.\d+\+\d{2}:\d{2}).*'
    - timestamp:
    source: timestamp
    format: RFC3339Nano
    action_on_failure: skip
    static_configs:
    - targets:
    - localhost
    labels:
    job: 59.110/test
    __path__: /var/log/1b60893eaa204cb44d4560eaae02ac0b8da16b51d733a2cd886be0f6c6e93cb2/*.log
    ```
    mikulch
        10
    mikulch   68 天前
    @FenixVu 我之前解决方式具体记不住了,但是大概是跟
    static_configs:
    - targets:
    - localhost

    这里的配置有关系。这里的配置要不然就不配,要不然就要配对,没记错的话官方文档中的示例是错的。
    FenixVu
        11
    FenixVu   68 天前
    @mikulch 这套你现在还在用么
    mikulch
        12
    mikulch   68 天前
    @FenixVu 在用。
    FenixVu
        13
    FenixVu   68 天前
    @mikulch 你这个咋配的
    promtail 一个 job 的采集点下有多个日志 但是在一个 job 里展示完全不知道哪个是哪个 可以去 filename 里找但是一旦项目多了日志也就多了乱了不好找啊 能在多一级菜单么
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1358 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 17:59 · PVG 01:59 · LAX 10:59 · JFK 13:59
    ♥ Do have faith in what you're doing.