V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
chaoxcores
V2EX  ›  问与答

ELK+kafka+filebeat 收集 nginx 日志的问题

  •  
  •   chaoxcores · Dec 28, 2019 · 3002 views
    This topic created in 2314 days ago, the information mentioned may be changed or developed.

    ELK 全家桶版本:7.5.1

    环境:Centos7

    描述:不修改 nginx 日志格式的情况下,想要收集 nginx 的 json 格式的数据。使用了 filebeat 提供的 nginx 模板,没加入 logstash 前是可以的,加入 logstash 后收集到的就不是 json 格式了。修改日志格式的方式可以收集到,但是想偷懒...

    问题:有没有什么办法又使用模板又能获得 json 格式数据?

    6 replies    2019-12-28 19:06:25 +08:00
    fmumu
        1
    fmumu  
       Dec 28, 2019 via Android
    既然不用 logstash 就可以收集了,为啥还要硬加 logstash。不懂
    Trim21
        2
    Trim21  
       Dec 28, 2019 via iPhone
    logstash 设置对应的 codec 为 json ?
    madNeal
        3
    madNeal  
       Dec 28, 2019
    不管用不用 logstash 应该都可以,是你姿势不对吧
    chaoxcores
        4
    chaoxcores  
    OP
       Dec 28, 2019 via iPhone
    @Trim21 等回头我试试
    chaoxcores
        5
    chaoxcores  
    OP
       Dec 28, 2019 via iPhone
    @fmumu 中间加了 kafka
    chaoxcores
        6
    chaoxcores  
    OP
       Dec 28, 2019 via iPhone
    @madNeal 我的情况就是通过 logstash 输出到 es 就不是 json 格式,使用 filebeat 模版的情况
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5434 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 07:43 · PVG 15:43 · LAX 00:43 · JFK 03:43
    ♥ Do have faith in what you're doing.