目前一个版块有 100 页数据，每页 30 条主题。
有一条主题在第 50 页，这条主题如果有新的操作（比如评论、点赞），那么这条主题会跑到第一页第一条。
那么下次爬新数据的时候，怎么样才能尽量不爬重复的数据（也就是重复页），怎么定位下回爬的时候的页码范围？
This topic created in 3153 days ago, the information mentioned may be changed or developed.
 |
1
3IOhG7M0knRu5UlC Nov 9, 2017 via Android
只要正文吗？那简单点记录爬过的 url
|
 |
2
shyling Nov 9, 2017
倒着爬啊 ww
|
 |
3
Baboonowen Nov 9, 2017 via Android
@shyling 记录 URL 中的帖子 id 吧
|
|
4
Baboonowen Nov 9, 2017 via Android
@shyling 倒着一样会有重复问题
|
 |
5
Cooky Nov 10, 2017 via Android
你不重复爬一旦有的帖子删了你就漏爬咯
|
 |
6
neosfung Nov 10, 2017 via iPhone
Simhash
|
 |
7
IAmAnonymous OP @neosfung 谢谢，学到新的东西了
|
|
8
IAmAnonymous OP @Cooky 恩，是的，目前来看没有好的办法，只能重复几页比如（ 5 ）页数据
|
|
9
neosfung Nov 10, 2017
@IAmAnonymous 搜索引擎都是用类似算法来给相似页面去重的
|
Select Language