能不能拦截 Internet Archive 的数据请求？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2646 days ago, the information mentioned may be changed or developed.

不知道有没有可能在 V 站的 robots.txt 加一条规则，从而排除来自这个网站的爬虫。

6 replies • 2019-01-29 04:10:39 +08:00

wjm2038

Jan 28, 2019 via Android

/t/531025
你俩可以唠唠嗑

dalieba

Jan 28, 2019

有情 @Livid

Tink

PRO

Jan 28, 2019 via iPhone

这是有啥讲究么？屏蔽这个网站

ryd994

Jan 29, 2019 via Android

@Tink 估计是有不想留下记录的文章
然而 robots.txt 只是一种约定俗成，并不是严格规范，不遵守的爬虫多了去了。

Trumeet

Jan 29, 2019 via Android

1. 没有意义
2. 没用
3. 可以实现

phy25

Jan 29, 2019 via Android

对于编辑的限制是为了让大家对发表在 V2EX 的言论更加负责。https://www.v2ex.com/faq