Cabana
5.01D

新人写博客,前天刚把删除功能做出来,今天一看被 google 爬虫全删掉了

  Cabana · Jan 22, 2017 · 33060 views
This topic created in 3423 days ago, the information mentioned may be changed or developed.
还以为是谁发现我的地址了,恶作剧给删了呢,一看 nginx 日志才发现
![]( )
应为正在搭也没人知道,就暂时没有做登陆权限什么的,结果被 Google 坑了一把,还好大多都是测试数据只有几篇自己写的。
202 replies    2017-09-14 10:29:35 +08:00
1  2  3  
haozibi
    101
haozibi  
   Jan 22, 2017 via Android
翻页,
haozibi
    102
haozibi  
   Jan 22, 2017 via Android
翻页喽
solu
    103
solu  
   Jan 22, 2017
本来埋头苦干了一天很郁闷,感谢楼主发帖
Magician
    104
Magician  
   Jan 22, 2017 via iPhone
谷歌 怪我咯……
techmoe
    105
techmoe  
   Jan 22, 2017 via Android
笑哭了
Twinkle
    106
Twinkle  
   Jan 22, 2017
nodin
    107
nodin  
   Jan 22, 2017 via iPhone   ❤️ 1
这就是阅后即焚?
mritd
    108
mritd  
   Jan 22, 2017 via iPhone
笑喷了 哈哈哈
Cabana
    109
Cabana  
OP
   Jan 22, 2017 via Android
@v2exhehehehe 嗯嗯,的确半路出家😅
learnshare
    110
learnshare  
   Jan 22, 2017
GET 应该做幂等操作,删除就用 DELETE 方法,而且无论如何也要做权限限制的
Cabana
    111
Cabana  
OP
   Jan 22, 2017 via Android
@lzsadam 大都是生成的无用数据,自己写的几篇也大都是测试而已…
lazypu
    112
lazypu  
   Jan 22, 2017
SEO 做得不错啊
xiaolanglang
    113
xiaolanglang  
   Jan 22, 2017   ❤️ 1
用 GET 请求处理删除操作,就算做了鉴权,爬虫是不能操作成功了,但是浏览器的预读功能依然可以啊~
int64ago
    114
int64ago  
   Jan 22, 2017
笑得流汗 233
nikoo
    115
nikoo  
   Jan 22, 2017
建议楼主起诉 google !

这叫什么不做恶?!
TKKONE
    116
TKKONE  
PRO
   Jan 22, 2017
哈???你的 delete 为什么没有进行权限设置?任何人都可以删的话,那就不能怪谷歌了
awolfly9
    117
awolfly9  
   Jan 22, 2017
谷歌开发人员开始怀疑人生了
ik
    118
ik  
   Jan 22, 2017 via iPhone
哈哈哈 我终于动了 get post 的区别了
why1
    119
why1  
   Jan 22, 2017
要求立即停止自动驾驶汽车研发
hljjhb
    120
hljjhb  
   Jan 22, 2017
真的笑,笑出声
gongjianwei
    121
gongjianwei  
   Jan 22, 2017 via Android
其实我觉得你太可爱了 XD
ELLIA
    122
ELLIA  
   Jan 22, 2017
@bao3 你这么说好像没毛病, 23333
Ellison
    123
Ellison  
   Jan 22, 2017
哈哈哈哈,年前就靠楼主的笑话了
illuz
    124
illuz  
   Jan 22, 2017   ❤️ 1
为何一句「爬虫也是一脸懵逼,爬完后之前的 404 了。。。」能获得这么多感谢,这话很对你们来说很有帮助吗?
某乎既视感。
Vicia
    125
Vicia  
   Jan 22, 2017 via iPhone   ❤️ 2
@illuz 看完这句话开心大笑,一扫一天的疲惫和不愉快,不算是一种帮助么?
SPACELAN
    126
SPACELAN  
   Jan 22, 2017
@dong3580 哈哈哈 我 outlook 也是,一直以为是验证服务器的问题
MrWii
    127
MrWii  
   Jan 22, 2017
哈哈,指着这个段子过年了
caomu
    128
caomu  
   Jan 22, 2017 via Android   ❤️ 7
爬虫:我可能爬的是假的网站
leotso
    129
leotso  
   Jan 22, 2017
Google: 怪我咯? hhhhh
pljhonglu
    130
pljhonglu  
   Jan 22, 2017
哈哈哈,妥妥的年度最佳~
cai314494687
    131
cai314494687  
   Jan 22, 2017
直接 GET 就能删除?你写的程序也是牛逼。

你先搞清楚什么情况下用 GET 什么情况下该用 POST 吧
lanjz
    132
lanjz  
   Jan 22, 2017
......笑 cry..
chilaoqi
    133
chilaoqi  
   Jan 22, 2017
论 HTTP method 的重要性, Get 大法好啊
ayang23
    134
ayang23  
   Jan 22, 2017
我是来看回复的
RobertYang
    135
RobertYang  
   Jan 22, 2017 via Android
谷歌 bot:怪我咯,我说怎么怕完了就是 404 了
itfanr
    136
itfanr  
   Jan 22, 2017 via Android   ❤️ 3
我想起之前同事写的代码 make clean 。把代码也 clean 了…
elvba
    137
elvba  
   Jan 22, 2017
今日最佳,留名
seashell
    138
seashell  
   Jan 22, 2017
@dong3580 联通的这个鉴权逻辑有点诡异啊,只是打开邮件,又没有点击链接。
smallpath
    139
smallpath  
   Jan 22, 2017
哈哈哈哈哈哈哈
xiongbiao
    140
xiongbiao  
   Jan 22, 2017
这个厉害了 哈哈
CrispElite
    141
CrispElite  
   Jan 22, 2017
哈哈野路子
mN71eOOprFyMsnPx
    142
mN71eOOprFyMsnPx  
   Jan 22, 2017
笑得听不下来。
楼主,摸摸头
muteZephyr
    143
muteZephyr  
   Jan 22, 2017
厉害了 word 哥
lc4t
    144
lc4t  
   Jan 22, 2017
不行了先去笑一会。

楼主记得这种东西要设好权限啊 233333
xjp
    145
xjp  
   Jan 23, 2017 via iPhone
哈哈哈哈哈 最佳最佳
fangxing204
    146
fangxing204  
   Jan 23, 2017 via Android
哈哈
Immortal
    147
Immortal  
   Jan 23, 2017
善意的笑了
jarlyyn
    148
jarlyyn  
   Jan 23, 2017   ❤️ 1
1.如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫。所以我的测试服务器有专门设置。

2.如果权限系统没做好,可以先用 basic auth 。如果程序中不知道怎么用前台的 nginx/apache 也可以设置。

3.某种角度来说,这类似于 crsf 攻击。就算权限系统做好了,这样依然会有问题。
Zohar
    149
Zohar  
   Jan 23, 2017 via Android
@kn007 大半夜笑出声😂
Tyanboot
    150
Tyanboot  
PRO
   Jan 23, 2017 via Android
@itfanr 这个就厉害了。
seeker
    151
seeker  
   Jan 23, 2017
谢谢分享。
谁都有萌新的时候。
steveshi
    152
steveshi  
   Jan 23, 2017 via iPhone
居然笑醒了
dong3580
    153
dong3580  
   Jan 23, 2017 via Android
@SPACELAN
@seashell
你说这开发的有多🐷,邮件服务器肯定会扫描你的邮件的, outlook 是不是应该扫了它链接呗。
Cbdy
    154
Cbdy  
   Jan 23, 2017 via Android
起码加个 HTTP BASIC 。。。
xiaodongus
    155
xiaodongus  
   Jan 23, 2017 via iPhone
哈哈哈哈哈哈哈哈,爬虫也是一脸懵逼
jy02201949
    156
jy02201949  
   Jan 23, 2017
总是有人想着怎么防爬虫,楼主另类的思路带领我们开辟了一条新的道路
skylancer
    157
skylancer  
   Jan 23, 2017 via Android
一大早看到这么欢乐的事... 哈哈哈
imnpc
    158
imnpc  
   Jan 23, 2017
花式反 bot
ytmsdy
    159
ytmsdy  
   Jan 23, 2017
哈哈哈哈,让我先笑一会。。
cougar
    160
cougar  
   Jan 23, 2017
有才
rashawn
    161
rashawn  
   Jan 23, 2017 via iPhone
厉害了……
cat9life
    162
cat9life  
   Jan 23, 2017
哇咔咔 LZ 太有趣了...
simo
    163
simo  
   Jan 23, 2017
事故是最好的老师,长点心吧
polun
    164
polun  
   Jan 23, 2017
谢谢(*^_^*)
ybh37
    165
ybh37  
   Jan 23, 2017
大过年的,出来讲笑话的吧?
simonjinyuliu
    166
simonjinyuliu  
   Jan 23, 2017
GET /delete ... 一股莫名的喜感
wbt
    167
wbt  
   Jan 23, 2017
😁 😁 😁
hjxx
    168
hjxx  
   Jan 23, 2017
想起以前跑数据库迁移脚本 get 请求某个地址 执行歉意的相关代码 结果每次都发现被执行了 2-3 次 后面才发现是万恶的 chrome 预加载 默默的换了 curl / wget
erenno1
    169
erenno1  
   Jan 23, 2017
哈哈哈
yivanus
    170
yivanus  
   Jan 23, 2017
年终奖没有中奖,全靠这个乐一下了。谢谢楼主。
pwcong
    171
pwcong  
   Jan 23, 2017
真感谢你们把生活过成了段子,笑死我
code4life
    172
code4life  
   Jan 23, 2017
@1OF7G

感谢指路!
wintercoder
    173
wintercoder  
   Jan 23, 2017
火钳刘明
zhouyg
    174
zhouyg  
   Jan 23, 2017
已加入 GET vs POST 大全
cst4you
    175
cst4you  
   Jan 23, 2017
今日最佳
panlilu
    176
panlilu  
   Jan 23, 2017
有点厉害,最近有点郁闷这笑话把我乐醒了
styang
    177
styang  
   Jan 23, 2017
今日最佳
shyrock
    178
shyrock  
   Jan 23, 2017
只有聪明的谷歌 GET 到了你的 idea 。。。
jadecoder
    179
jadecoder  
   Jan 23, 2017
笑 2333 ,下次讲 RESTful 又有例子了
mlhorizon
    180
mlhorizon  
   Jan 23, 2017
自毁式反爬虫策略,赞一个,再摸摸头。
argsno
    181
argsno  
   Jan 23, 2017
我的锅咯~~~~~~~~~
wly19960911
    182
wly19960911  
   Jan 23, 2017
其实可以当爬虫经过的时候把某个页面给隐藏掉直接返回 404 ,使用类似于 lz 这样拿一个瞄链接等爬虫爬,然后过一段时间再恢复应该可以吧。
MXA
    183
MXA  
   Jan 23, 2017
@mritd hi , nice too meet U
Jackeriss
    184
Jackeriss  
   Jan 23, 2017
19 杀!全场最佳: Google
DualWield
    185
DualWield  
   Jan 23, 2017
22333333 今日最佳
cherrypi
    186
cherrypi  
   Jan 23, 2017 via iPhone
身经百战的爬虫也是懵逼了!
loddit
    187
loddit  
   Jan 23, 2017
@jarlyyn 「 1. 如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫」这个有确定的证据吗?
jarlyyn
    188
jarlyyn  
   Jan 23, 2017
@loddit

经验和网上的链接

比如


https://news.ycombinator.com/item?id=3034288



另外, baidu 统计也会提交到百度的搜索引擎。
l2003529
    189
l2003529  
   Jan 23, 2017 via iPad
笑出声哈哈😂
run2
    190
run2  
   Jan 23, 2017
耿直 boy
Google Bot 说给我钱,然后他就给了 0 , 0
tianice
    191
tianice  
   Jan 23, 2017
今日最佳
codeyung
    192
codeyung  
   Jan 23, 2017
偷笑 - -
daysv
    193
daysv  
   Jan 24, 2017
笑死我了...... 还能这样做的
ZhLTE
    194
ZhLTE  
   Jan 24, 2017
@xmumiffy 哈哈哈哈哈哈哈
overlords
    195
overlords  
   Jan 24, 2017 via iPhone
第一次知道被蜘蛛删了
r00tt
    196
r00tt  
   Jan 25, 2017
楼主好萌,看笑了
Vicer
    197
Vicer  
   Jan 29, 2017 via Android
有故事,才会成长
pacino
    198
pacino  
   Feb 12, 2017
厉害了
xiaorun
    199
xiaorun  
   Feb 14, 2017
robots.txt
henneko
    200
henneko  
   Feb 16, 2017 via Android
我感觉 LZ 发明了新的开车技巧
1  2  3  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2379 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 263ms · UTC 16:06 · PVG 00:06 · LAX 09:06 · JFK 12:06
♥ Do have faith in what you're doing.