• 请不要在回答技术问题时复制粘贴 AI 生成的内容
edis0n0
V2EX  ›  程序员

bing 和 google 的爬虫是怎么知道我新注册了域名的?

  •  
  •   edis0n0 · Jan 17, 2023 · 3215 views
    This topic created in 1282 days ago, the information mentioned may be changed or developed.
    随便打了 4 个单词在 godaddy 上注册了个长 com 域名用于自用的 api (本身连起来是无意义的,不用随机字母数字是怕公司网管当木马通信域名给 ban 了),觉得没有人会找到,首页都是 404 ,结果从注册那一天起 bing 和 google 的爬虫天天来好几趟
    13 replies    2023-01-18 17:01:28 +08:00
    kincaid
        1
    kincaid  
    PRO
       Jan 17, 2023
    举一条途径,当然不一定是这个 https://czds.icann.org/zone-requests/all
    也可能跟注册商、解析服务商之间有什么 PY 交易
    pingdog
        2
    pingdog  
       Jan 17, 2023 via Android
    Browser 会上报
    hez2010
        3
    hez2010  
       Jan 17, 2023
    你要知道 GoDaddy 是微软的合作伙伴之一。另外 Google 有自己的域名服务,域名厂商之间数据大概是共享的。
    systemcall
        4
    systemcall  
       Jan 17, 2023 via Android
    注册商那边上报给搜索引擎了吧
    看看注册域名的协议,有没有提到
    kincaid
        5
    kincaid  
    PRO
       Jan 17, 2023
    @fuzzsh 正解,我看域名访问日志的时候发现如果有人要 Edge 访问我网站的时候还会同时去爬 robots
    crab
        6
    crab  
       Jan 17, 2023
    开个抓包工具,你会发现浏览器会提交一些不是你请求的数据。
    hcocoa
        7
    hcocoa  
       Jan 17, 2023
    你用什么浏览器上网?
    baobao1270
        8
    baobao1270  
       Jan 17, 2023
    说几个可能性:
    1 、浏览器上报
    2 、CDN 上报
    3 、权威 NS 解析服务商上报
    em70
        9
    em70  
       Jan 17, 2023
    为什么都是 bing,google 爬虫来,百度,搜狗,360 怎么不来
    abersheeran
        10
    abersheeran  
       Jan 17, 2023
    @em70 因为百度垄断大陆市场,它是站长的亲爹,自己提交还爱理不理的。Google 有不少人抢它份额,搜索效果不好别人就转投其他搜索引擎了。
    MurkeyMua
        11
    MurkeyMua  
       Jan 18, 2023 via Android
    你或许用的 chrome 或者 edge
    ragnaroks
        12
    ragnaroks  
       Jan 18, 2023
    浏览器上报、证书透明度、NS 新增记录
    stabc
        13
    stabc  
       Jan 18, 2023
    不觉得是所谓”上报“,应该是之前有人注册过,域名掉很久搜索引擎都会尝试爬
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5652 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 65ms · UTC 06:31 · PVG 14:31 · LAX 23:31 · JFK 02:31
    ♥ Do have faith in what you're doing.