V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Reign
V2EX  ›  程序员

Googlebot 能探测到 cloudflare 后面网站的真实服务器 ip 吗?

  •  1
     
  •   Reign · Aug 19, 2016 · 6167 views
    This topic created in 3541 days ago, the information mentioned may be changed or developed.

    目前准备买一台大容量的服务器,以后做网站都在这上面了,但是貌似多个网站挂在同一个 ip 上对 SEO 不太友好,而且假设一个网站被谷歌反感了,貌似这个 ip 上的网站都要被牵连,我在想用 cloudflare 这种前端 cdn 把这台服务器罩一下,是不是谷歌就察觉不出来我的所有网站都在同一个台服务器同一个 ip 上了?

    44 replies    2016-08-26 09:04:05 +08:00
    xupefei
        1
    xupefei  
       Aug 19, 2016
    > 而且假设一个网站被谷歌反感了,貌似这个 ip 上的网站都要被牵连
    有这回事儿?那如果你挂了 CF 以后再被反感,同一个 CDN 上的几百个网站全玩完?怎么可能嘛。
    Reign
        2
    Reign  
    OP
       Aug 19, 2016
    @xupefei 貌似曾经看到过同 ip 虚拟主机受诛连的文章
    huihuimoe
        3
    huihuimoe  
       Aug 19, 2016 via Android
    @Reign (多少年前的文章?
    Marfal
        4
    Marfal  
       Aug 19, 2016
    不能

    同 IP 多网站不受影响,另外 CF 抗 D 很强,加速一般,因为免费及 Pro 版本,是没有中间回源的。电信联通解析到美西节点,为国内提供服务还是多考虑考虑。
    Reign
        5
    Reign  
    OP
       Aug 19, 2016
    @huihuimoe 09 年 10 年的时候吧,那时候才入门,看了很多 SEO 的文章,就讲了这个
    yexm0
        6
    yexm0  
       Aug 19, 2016 via Android
    好像 cf 对搜索引擎回源的吧。
    Marfal
        7
    Marfal  
       Aug 19, 2016
    @yexm0 怎么可能回源
    zaishanfeng
        8
    zaishanfeng  
       Aug 19, 2016 via Android
    cf 国内不友好。用 cf 可以达到你目的。 其实你可以买多 ip 的服务器, 加个 ip 要不了多少钱。
    imcocc
        9
    imcocc  
       Aug 19, 2016 via iPhone
    看过英文博客说 cf 对 googlebot 返回源值。等会我去测试一下


    有点可以肯定,如果这些站不互链,没影响的。有人用 12 刀一年的 GD 共享 ip 主机 seo 做到第一
    ray1980
        10
    ray1980  
       Aug 19, 2016 via iPhone
    @imcocc 同 IP 的站不要互链?
    dynos01
        11
    dynos01  
       Aug 19, 2016 via iPad
    @imcocc 如果这样我伪装成 googlebot 不就能探测到真实地址了。。。。
    imcocc
        12
    imcocc  
       Aug 19, 2016 via iPhone
    @dynos01 我也是想用这个思路测试
    imcocc
        13
    imcocc  
       Aug 19, 2016 via iPhone
    @ray1980 对,互连就完蛋, google 站长手册里有这条。
    cocochan
        14
    cocochan  
       Aug 19, 2016
    @dynos01
    @imcocc 你得伪装成谷歌 bot 的机房,他们有一个专用的 DNS 来解析回源 -> 这是目前绝大多数 DNS 搜索引擎回源方案, CloudFlare 应该也是
    azh7138m
        15
    azh7138m  
       Aug 20, 2016 via Android
    @cocochan 代码跑在 GAE 这种地方上可以吗?
    ranran
        16
    ranran  
       Aug 20, 2016
    @dynos01 不在一个层面…… 你都能提交 HTTP 请求了(模拟谷歌) 说明已经过了获取 IP 的那个阶段 人家还怎么返回 IP 给你 哈哈哈!
    imcocc
        17
    imcocc  
       Aug 20, 2016
    以为是很简单的测试,真测起来发现好难 不会弄 GAE ,用 python 套 GAE 代 /+-0-理获取网站 ip 的难度好大 ,没搞好(我技术菜)

    我就想出了另一个简单的方法,CF 里设置对网站站进行 Auto Minify (js,css,html), 正常访问,网站源码里带 CF 的 js 代码. firefox 改成 googlebot UA 后, 网站源码里 CF 的 js 消失(或者说 Auto Minify 的影响消失).

    用 python+requests+GAE 的 ip. 结果同上.
    UnisandK
        18
    UnisandK  
       Aug 20, 2016
    为什么不反过来想想, CDN 要是对搜索引擎回源,意味着后端只允许 CDN 的 IP 访问的服务器会直接无法被收录,这可是常见的安全配置
    cocochan
        19
    cocochan  
       Aug 20, 2016
    @azh7138m 不可以,他们机房都是有专门的 DNS 解析的
    mytsing520
        20
    mytsing520  
    PRO
       Aug 20, 2016
    @Marfal 已经备案的网站,在 CF 可以使用中国大陆节点
    Balthild
        21
    Balthild  
       Aug 20, 2016 via Android
    @imcocc 也许考虑过 CDN ,对比如 CF 的同 IP 互链免疫呢?
    Marfal
        22
    Marfal  
       Aug 20, 2016
    @mytsing520 然而如果你源站在国外,回源炸裂。
    Technetiumer
        23
    Technetiumer  
       Aug 20, 2016
    应该不能
    顶多会 刷新缓存 或 忽略缓存直接代理
    不然只要在 GAE 上模拟 Googlebot 不就能探测到真实地址了,防护就没意义了,直接 D 源站
    imcocc
        24
    imcocc  
       Aug 20, 2016 via iPhone
    @Balthild 免疫不了,也许一个两个站不会有问题。

    别想着新站互链提高权重了,新站都是缺奶的孩子,一帮小奶娃你顶我 我顶你。意义不大。 靠老的权威站传递权重救济才是王道。
    czb
        25
    czb  
       Aug 20, 2016 via Android
    @Technetiumer GAE 反向解析结果是跟 Google Bot 不一样的
    ray1980
        26
    ray1980  
       Aug 20, 2016 via iPhone
    @imcocc 我都是互链的,完蛋
    zjl88858
        27
    zjl88858  
       Aug 20, 2016
    @xupefei CF 一般一个 ip 就不到 10 个网站。。。百度云加速除外
    xiaozuo
        28
    xiaozuo  
       Aug 20, 2016 via iPhone
    别忘了谷歌是 CF 的投资者之一
    coyove
        29
    coyove  
       Aug 20, 2016
    wdlth
        30
    wdlth  
       Aug 20, 2016
    提出多网站在同一 IP 上不友好的人中不乏卖独立 IP 的虚拟主机商,他们告诉大家:“想一想,不充钱你会变得更强么?!”
    ivmm
        31
    ivmm  
       Aug 20, 2016
    @coyove 这个网站。。。。
    mytsing520
        32
    mytsing520  
    PRO
       Aug 20, 2016
    @Marfal 并不是访问直接穿透,有中央处理集群
    Marfal
        33
    Marfal  
       Aug 20, 2016
    @mytsing520 求详解。。
    FreeDog
        34
    FreeDog  
       Aug 20, 2016
    @mytsing520 只有企业用户 Plan 可以用中国网络,而且似乎还不支持 HTTPS..
    mytsing520
        35
    mytsing520  
    PRO
       Aug 20, 2016
    @Marfal

    许多用户---→CDN 近源节点---→中央处理集群---→与源站网络质量最好的节点(随机访问)---→源站
    Marfal
        36
    Marfal  
       Aug 20, 2016
    @mytsing520 这不是一样的吗,比如说源站在 LAX ,用户解析到的 CDN 节点在 HKG ,这时候没有缓存的请求就直接从 HKG 到 LAX 了,我测试是这样,免费和 Pro 都是这样,价格更高的 Plan 才能用中间源。

    你说的中央处理集群指什么?
    mytsing520
        37
    mytsing520  
    PRO
       Aug 20, 2016
    @Marfal
    可以强制要求路由从中央处理集群(可以是内网)对数据进行集中化处理后下发的
    mytsing520
        38
    mytsing520  
    PRO
       Aug 20, 2016
    @Marfal 另外,与源站访问质量最好的节点(随机访问)并不作为解析获得的对用户直接提供访问
    Marfal
        39
    Marfal  
       Aug 20, 2016
    @mytsing520 当然不是直接穿透啊,而且处理是在本地处理的,是没错啊。但是我一开始说的是如果源站在国外的话回源很慢。因为 CF 并不是传统意义上的 CDN ,反代的意味更大。
    mytsing520
        40
    mytsing520  
    PRO
       Aug 20, 2016
    @Marfal 我的意思是, CDN 边界节点,只作为反向代理进行数据发送的任务,数据处理等业务交由计算能力更强大的中央集群化机器进行处理,这样速度会快的多,而且负责向客户展示的机器只做向客户展示,而不是去抓取源站
    Marfal
        41
    Marfal  
       Aug 20, 2016
    @mytsing520 从头到尾我没想和你讨论这个啊。。你说的确实是对的,但是网络不行处理能力再强也没用,我试过在源站( LAX )下载 CF 反代后的文件,带宽是能跑满的。

    跨数据中心可能有内网连接(我没试过),但那是给中间源用的,比如我上面提到的例子 Client <--> HKG Datacenter <--> LAX Datacenter <--> Source ,但是 Free 以及 Pro 套餐是这样的 Client <--> HKG Datacenter <--> Source 。你懂了吧?
    Marfal
        42
    Marfal  
       Aug 20, 2016
    @mytsing520 你说的 Edge 节点和处理节点其实是在同一个数据中心的,从宏观看还是一个 Pop 。
    kmahyyg
        43
    kmahyyg  
       Aug 22, 2016
    提醒一个不相干的问题,最近 cf 的 cdn 被 ddos 的厉害,我的站被连累的躺了好几次,直接被 vps 提供商 ban 了账号.......
    dsg001
        44
    dsg001  
       Aug 26, 2016
    页面底部隐蔽输出来访 UA 、 IP ,等 GG 收录之后,查看缓存中的 UA 、 IP 就晓得了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1285 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 98ms · UTC 17:12 · PVG 01:12 · LAX 10:12 · JFK 13:12
    ♥ Do have faith in what you're doing.