V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
MeteorCat
V2EX  ›  程序员

惨不忍睹,半夜起来(4 点)排查

  •  
  •   MeteorCat · Aug 14, 2019 via Android · 8358 views
    This topic created in 2448 days ago, the information mentioned may be changed or developed.

    睡梦中被电话吵醒,还以为天亮.

    一看手机服务器炸了,要排查代码看看哪里出问题,排查大半天发现代码没问题,百思不得其解;后续发现 curl 的请求全 host 没办法链接,怀疑是不是服务器 dns,一排查麻痹系统内置百度公共 dns 挂了,mmp

    Supplement 1  ·  Aug 14, 2019
    具体这个 dns 服务器“ 180.7676.76 ”是安装时候附带的,基本上很少留意他,早上四点开始出现大范围的请求全挂了还以为是什么回事,排查大半天代码没问题,试着 ping 下请求的域名发现全挂了只有 ip 能请求到才发现问题
    37 replies    2019-08-15 08:42:49 +08:00
    365hddvd
        1
    365hddvd  
       Aug 14, 2019 via iPhone
    心疼老铁(ఠ్ఠ ˓̭ ఠ్ఠ)也是刚刚醒
    chtan
        2
    chtan  
       Aug 14, 2019 via iPhone
    签到
    hrong
        3
    hrong  
       Aug 14, 2019 via Android
    かわいそう
    clockwerk
        4
    clockwerk  
       Aug 14, 2019 via iPhone
    心疼老铁
    hawhaw
        5
    hawhaw  
       Aug 14, 2019 via Android
    所以,内网服务器用 dns resolver 的高可用非常重要
    zachlhb
        6
    zachlhb  
       Aug 14, 2019 via Android
    敢用百度的东西,厉害
    barrelsoil
        7
    barrelsoil  
       Aug 14, 2019 via Android
    自建吧
    auin
        8
    auin  
       Aug 14, 2019
    真是糟糕的一天
    robot9
        9
    robot9  
       Aug 14, 2019
    前段时间也是半夜被叫起来 码农太悲惨了
    ww2000e
        10
    ww2000e  
       Aug 14, 2019
    看样子没运维,没监控
    ebingtel
        11
    ebingtel  
       Aug 14, 2019
    @365hddvd 醒了就刷 v2 666
    whywhywhy
        12
    whywhywhy  
       Aug 14, 2019
    自从我发现公共 DNS 也能挂之后,就开始至少用 2 家的 DNS 了。原来这些大公司也舍不得做冗余啊
    zjsxwc
        13
    zjsxwc  
       Aug 14, 2019
    所以哪家的 dns 最稳推荐?
    defunct9
        14
    defunct9  
       Aug 14, 2019
    必须自己做两个 dnsmasq,上游多找几家,就不会挂了。
    wuzhizhan
        15
    wuzhizhan  
       Aug 14, 2019
    记得刚毕业工作的时候,一周半夜起来一次
    arrow8899
        16
    arrow8899  
       Aug 14, 2019
    自己搭一个 dnsmasq 备用吧
    liuxu
        17
    liuxu  
       Aug 14, 2019
    上次我们服务器也炸过,导致 php 无法 curl 请求
    zhjie
        18
    zhjie  
       Aug 14, 2019   ❤️ 1
    处理完问题后
    继续睡觉×
    上 v2 发帖√
    ShangAliyun
        19
    ShangAliyun  
       Aug 14, 2019
    创建监控啊,阿里云云监控可以免费创建 10 个,域名解析,dns,ping 都创建上,足够了
    MeteorCat
        20
    MeteorCat  
    OP
       Aug 14, 2019 via Android
    @ShangAliyun 我没账号呀,我最多都是上去看看 ssh 看下 log 日志
    MeteorCat
        21
    MeteorCat  
    OP
       Aug 14, 2019 via Android
    @liuxu 是的,全部第三方请求全炸了,一看是系统带百度 dns 开放 IP 挂了
    loryyang
        22
    loryyang  
       Aug 14, 2019
    有段时间,数据链路不稳定,经常半夜一两点被其他团队 call 起来。后来通过老大层面协商搞定了
    leloext
        23
    leloext  
       Aug 14, 2019
    上次 114 炸了之后就不敢只用一个上游 dns 了。
    mytsing520
        24
    mytsing520  
    PRO
       Aug 14, 2019
    我 114、阿里、腾讯、Google 都写全的~
    百度不在考虑范围内
    tikazyq
        25
    tikazyq  
       Aug 14, 2019
    自己搭建 DNS ?
    oIMOo
        26
    oIMOo  
       Aug 14, 2019
    可以设置备用的么?
    一旦首选 DNS 挂掉,自动切换备用的。
    oasislee
        27
    oasislee  
       Aug 14, 2019
    半夜解决问题后
    回去睡觉 ×
    发 V2 √
    hiahiahia
    lazyfighter
        28
    lazyfighter  
       Aug 14, 2019
    某个地区运营商故障见过吗,哈哈
    HansCathy
        29
    HansCathy  
       Aug 14, 2019
    在互联网公司 4 点起来很正常。
    wolflai
        30
    wolflai  
       Aug 14, 2019
    唉,互联网公司经常熬夜两三点,非常正常了
    azh7138m
        31
    azh7138m  
       Aug 14, 2019
    @lazyfighter 比如上海市政施工导致腾讯游戏挂了吗(
    laozhoubuluo
        32
    laozhoubuluo  
       Aug 14, 2019
    半夜四点真的心疼......

    维护个位数物理机建议混配两家以上公共 DNS (配置四五个 DNS 都可以),超出此数目建议自建 DNS 服务。
    vibbow
        33
    vibbow  
       Aug 14, 2019
    之前 114 挂过,我就同时用 114 和 1248 了
    lazyfighter
        34
    lazyfighter  
       Aug 14, 2019
    @azh7138m 不是 比如上海移动运营商挂了,上海移动用户上不了网,哈哈
    Caballarii
        35
    Caballarii  
       Aug 14, 2019
    为啥都想去写前端,就因为不会有人半夜 call 你找麻烦,因为找你也没用 23333
    starsriver
        36
    starsriver  
       Aug 14, 2019 via Android
    贵司都不在防火墙或者路由上多填几个 dns?
    ragnaroks
        37
    ragnaroks  
       Aug 15, 2019
    没有洁癖,建议使用 1.2.4.8

    我们机房用的机器全是 223.5.5.5(阿里的),莫名其妙的时不时超时(别的地方都能通,就机房 ping 不同这个 DNS),导致经常出现 API 调用失败,最后查了几天才发现 DNS 有问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1014 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 106ms · UTC 19:04 · PVG 03:04 · LAX 12:04 · JFK 15:04
    ♥ Do have faith in what you're doing.