V2EX › cdwyd 的所有回复 › 第 46 页 / 共 104 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 42 43 44 45 46 47 48 49 50 51 ... 104

❮

❯

2018 年 12 月 17 日

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@luosuosile
单篇的漫画肯定给用户看全，但是没有必要把全部的内容到从列表页显示出来。

2018 年 12 月 17 日

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@luosuosile
通过搜索引擎只能获取到很有限的一部分链接，所以基本上抓取到的也就很有限。

楼上好几个人在那不断强调“只要人看到的，就能抓到”，“只要有链接就能抓到”，却不明白混淆 ID 就是为了不让你获取全部链接。抓取内容的第一步就是先获取到链接，链接都没拿到还爬个毛线啊。

如果还有人要杠，那再举两个例子：
1. 淘宝的绝大多数商品人都能看到，你能把淘宝的绝大多数商品都抓到吗？
2. 搜索引擎那里有海量的链接，你能抓到总量的 0.000000001 吗？

2018 年 12 月 17 日

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@xpresslink 你赢了

2018 年 12 月 17 日

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@soulmine
你这三年的爬虫经验算是白瞎了，这种理解能力怎么能 get 用户的真实需求

2018 年 12 月 17 日

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@soulmine 你没看明白我在说什么。
打个比方，v2ex 的列表页只显示最新的 100 条记录，同时 V2EX 的 id 进行了混淆处理。这个时候你就不容易获取到全部内容。
那些不显示的并不是删除了，用户也能看得到，可以从链接从搜索引擎来访问，而你却抓取不到那些有价值的内容。

2018 年 12 月 17 日

回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？

@soulmine 这样你最多也就只能抓取到从你开始抓那天开始发布的新内容。