V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
mikulch
V2EX  ›  问与答

弱弱的请教一个 Loki 的配置问题

  •  
  •   mikulch · Oct 14, 2020 · 2054 views
    This topic created in 2021 days ago, the information mentioned may be changed or developed.

    现在有 2 个节点,每个节点上一个日志。节点 1 上装了 promtail 目前可以正常搜集到日志,但是节点 2 上装的 promtail 按照同样的配置,却无法搜集到日志传到 loki (loki 在第三个节点) 。

    在搜集的顺序上,我是先安装的节点 1 的 promtail,然后搜集成功后,再安装的节点 2 的 promtail 。都是直接二进制安装,不是 docker 和 k8s 。

    有大佬遇到过类似问题没? 日志方面的话,节点 2 上的 promtail 就一直卡在

    level=info ts=2020-10-14T07:31:30.698676564Z caller=server.go:194 http=[::]:9080 grpc=[::]:44839 msg="server listening on addresses"
    level=info ts=2020-10-14T07:31:30.69879396Z caller=main.go:108 msg="Starting Promtail" version="(version=1.6.0, branch=HEAD, revision=6e3e2fa3)"
    level=info ts=2020-10-14T07:31:35.698753496Z caller=filetargetmanager.go:285 msg="Adding target" key="{app=\"paycenter\", env=\"prod\", host=\"182.92.191.157\"}"
    

    节点 1 配置文件

    server:
      http_listen_port: 9080
      grpc_listen_port: 0
    
    positions:
      filename: /tmp/positions.yaml
    
    clients:
      - url: http://47.xx.xxx.237:3100/loki/api/v1/push
    
    scrape_configs:
    - job_name: prod-signup
      static_configs:
      - targets:
          - localhost
        labels:
          app: signup
          host: 153.92.xxx.xxx
          env: prod
          __path__: /data/xxx/logs/signup.log
    
    

    节点 2 配置文件

    server:
      http_listen_port: 9080
      grpc_listen_port: 0
    
    positions:
      filename: /tmp/positions.yaml
    
    clients:
      - url: http://47.xx.xxx.237:3100/loki/api/v1/push
    
    scrape_configs:
    - job_name: prod-paycenter
      static_configs:
      - targets:
          - localhost
        labels:
          app: paycenter
          host: 182.92.xxx.xxx
          env: prod
          __path__: /data/xxx/logs/paycetner.log
    
    

    这里,后面的日志就都没有了。正常节点的 promtail 下面还会有跟一个 msg="start tailing file" 的日志来显示。

    感谢各位大佬帮忙!

    13 replies    2021-08-16 13:51:57 +08:00
    rockxsj
        1
    rockxsj  
       Oct 14, 2020
    建议换 fluent-bit 更轻量,日志也更详细
    mikulch
        2
    mikulch  
    OP
       Oct 14, 2020 via iPhone
    @rockxsj 刚折腾了两天,好不容易要弄好了又换太痛苦了……
    echo1937
        3
    echo1937  
       Oct 14, 2020
    我以为是 EVE 的 T3C 呢。
    mikulch
        4
    mikulch  
    OP
       Oct 14, 2020 via iPhone
    @echo1937 哈哈哈。
    mikulch
        5
    mikulch  
    OP
       Oct 14, 2020 via iPhone
    感觉坑了。
    mikulch
        6
    mikulch  
    OP
       Oct 15, 2020
    这个问题已经解决了。
    FenixVu
        7
    FenixVu  
       Aug 16, 2021
    你到是说说咋解决的啊
    mikulch
        8
    mikulch  
    OP
       Aug 16, 2021
    @FenixVu 你也遇到这个问题了?
    FenixVu
        9
    FenixVu  
       Aug 16, 2021
    @FenixVu 恩有点类是我是一个 promtail 下配置了两个日志路径但是只能采集到第一个
    ```
    scrape_configs:
    - job_name: system
    pipeline_stages:
    - regex:
    expression: '^(?P<timestamp>\d{4}-\d{2}-\d{2}\S\d{2}:\d{2}:\d{2}.\d+\+\d{2}:\d{2}).*'
    - timestamp:
    source: timestamp
    format: RFC3339Nano
    action_on_failure: skip
    static_configs:
    - targets:
    - localhost
    labels:
    job: 59.110/mysql
    __path__: /var/log/960c6986c8b14cb3d38a188962bfa75b251e07df56f486629acecdb53e2f6046/*.log

    - job_name: test
    pipeline_stages:
    - regex:
    expression: '^(?P<timestamp>\d{4}-\d{2}-\d{2}\S\d{2}:\d{2}:\d{2}.\d+\+\d{2}:\d{2}).*'
    - timestamp:
    source: timestamp
    format: RFC3339Nano
    action_on_failure: skip
    static_configs:
    - targets:
    - localhost
    labels:
    job: 59.110/test
    __path__: /var/log/1b60893eaa204cb44d4560eaae02ac0b8da16b51d733a2cd886be0f6c6e93cb2/*.log
    ```
    mikulch
        10
    mikulch  
    OP
       Aug 16, 2021
    @FenixVu 我之前解决方式具体记不住了,但是大概是跟
    static_configs:
    - targets:
    - localhost

    这里的配置有关系。这里的配置要不然就不配,要不然就要配对,没记错的话官方文档中的示例是错的。
    FenixVu
        11
    FenixVu  
       Aug 16, 2021
    @mikulch 这套你现在还在用么
    mikulch
        12
    mikulch  
    OP
       Aug 16, 2021
    @FenixVu 在用。
    FenixVu
        13
    FenixVu  
       Aug 16, 2021
    @mikulch 你这个咋配的
    promtail 一个 job 的采集点下有多个日志 但是在一个 job 里展示完全不知道哪个是哪个 可以去 filename 里找但是一旦项目多了日志也就多了乱了不好找啊 能在多一级菜单么
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3822 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 05:04 · PVG 13:04 · LAX 22:04 · JFK 01:04
    ♥ Do have faith in what you're doing.